解釈可能性

概要

解釈可能性は、モデルが何を出力するかではなく、内部で何をしているかを問います。現場のエンジニアにとって、この問いが哲学的であることはめったにありません。分類器がラベルを透かしから読み取っていないか、言語モデルの拒否が浅いパターンなのか一般的な振る舞いなのか、説明責任のある決定で与信モデルがどの特徴量に依拠したのか、ファインチューニングがなぜ学習対象外の何かを壊したのか、といったことを知る必要があるのです。これらはそれぞれ、手法の付いた解釈可能性の問いです。

このハブは、そうした手法を発明するのではなく使いたいエンジニアのためのページです。プロービング、帰属、機構的解釈可能性、スパースオートエンコーダを扱い、限界に1節を割きます。この分野の結果は読みすぎやすいからです。調べる対象となるモデルは/topics/transformers-and-llms/と/topics/deep-learning/で説明しています。

重要な考え方

プロービング: 情報はそこにあるか

プローブとは、モデルの内部活性化で学習させて何らかの性質を予測する小さな分類器です。品詞、ゲームの盤面状態、現在の文が真かどうか、などです。線形プローブがその性質を高い精度で読み出せるなら、表現はそれを線形に符号化しています。Alain and Bengio（2016）はこれを使って、クラス情報が層を追うごとに線形にアクセスしやすくなる様子を示しました。注意点が2つあります。強力すぎるプローブはノイズからその性質自体を学習してしまうので、ラベルをシャッフルした対照タスクと比較してください。そして、読み取れる表現が使われている表現とは限りません。モデルは、決して行動の根拠にしない性質を符号化していることがあります。

帰属: どの入力が重要だったか

帰属手法は、各入力特徴量に出力への責任の割合を割り当てます。勾配ベースの手法（顕著性マップ、Sundararajan et al., 2017の積分勾配）は、入力に対する出力の微分を使います。摂動ベースの手法（Lundberg and Lee, 2017のSHAP、LIME）は、特徴量を除去または置換したときに出力がどう変わるかを測ります。SHAPは協力ゲーム理論に健全な基盤をもち、木のアンサンブルに対しては高速な厳密アルゴリズムがあるため、表形式データの仕事では支配的です。トランスフォーマーでは、注意の重みを無料の帰属として使いたくなりますが、帰属としては信頼できません。Jain and Wallace（2019）は、大きく異なる注意パターンが同じ出力を与えうることを示しました。

機構的解釈可能性とスパースオートエンコーダ

機構的解釈可能性は、計算を名前の付いた部品にリバースエンジニアリングしようとします。この注意ヘッドは直前のトークンをコピーする、あのヘッドの回路は「Mr and Mrs Dursley」を正しい名前で補完する、といった具合です。道具は因果的介入、特に活性化パッチングです。ある実行の活性化を別の実行に貼り付け、出力の変化でその構成要素の役割を測ります。Wang et al.（2022）はGPT-2 small（124 Mパラメータ、1 kコンテキスト、MITライセンス、2019年）で間接目的語の同定を行う回路を完全にたどりました。

障害となるのが重ね合わせ（superposition）です。概念よりニューロンの少ないモデルは概念を重なり合う方向として格納するので、1つのニューロンが複数の意味をもちます。スパースオートエンコーダ（SAE）はこれに直接取り組みます。ある層の残差ストリームで学習し、はるかに幅の広い隠れ層を通して活性化を再構成します。L1ペナルティによって、トークンごとに活性化する隠れユニットは少数に保たれます。この隠れユニット、すなわち特徴は、ニューロンよりはるかに解釈しやすい傾向があります（Cunningham et al., 2023、および2024年のAnthropicによるClaude 3 Sonnetの研究）。Gemma Scope（Lieberum et al., 2024）はGemma 2 2Bと9Bの全層のSAEを公開しており、この手法をオープンなモデルで試せます。

限界

上のどの手法にも、成功のように見える失敗モードがあります。プローブは、モデルが使っていないかもしれない相関を見つけます。異なる手法の帰属スコアは同じ入力で食い違い、モデルの重みをランダム化しても変わらないといった簡単な健全性チェックに落ちるものもあります。124 Mパラメータのモデルで見つかった回路は自動的にスケールするわけではありません。SAEの特徴は幅、スパース性のペナルティ、乱数シードに依存し、同じ層で学習した2つのSAEは重なるが異なる辞書を見つけ、特徴の名前は数百の例を人間が要約したものです。解釈可能性の結果はモデルについての仮説であり、因果的介入によって信頼性を増し、きれいな可視化によって信頼性を減らします。規制や顧客が決定の説明を求める場面では、本稿執筆時点での率直な答えは、たいていの場合、既知の注意事項を添えて文書化された入力帰属の手法であって、モデルを理解したという主張ではありません。

どこから始めるか

まず/learn/beginner/03-linear-models-from-scratch/を読んでください。線形プローブは活性化に対するロジスティック回帰であり、線形モデルの係数は最も単純な帰属だからです。次に、プロービングの対象となる活性化について/learn/beginner/07-your-first-neural-network/を、表現空間の幾何について/learn/beginner/08-embeddings-and-similarity/を読んでください。/learn/beginner/05-trees-and-gradient-boosting/の木モデルでSHAPを実行し、それからSAELensでGemma ScopeのSAEを読み込み、いくつかの特徴について最も活性化するトークンを見てください。/topics/safety-security-and-privacy/ハブは、解釈可能性が答えを求められる監査上の問いを扱っています。

ツールとプラットフォーム

よくある間違い

• 注意マップを説明として示す。よくても診断にすぎません。
• 対照タスクなしでプローブを学習し、モデルがその性質を「知っている」と結論づける。
• 帰属手法を1つ実行し、健全性チェックなしにその出力を決定の理由として報告する。
• SAEの特徴を上位10件の活性化から名付け、その名前を正解として扱う。
• GPT-2 smallで見つかった回路を70 Bモデルについての事実として読む。
• 解釈可能性と制御を混同する。ある振る舞いの特徴を見つけたからといって、それをステアリングしてその振る舞いだけが変わるとは限りません。

さらに深く

• Sundararajan, Taly and Yan, Axiomatic Attribution for Deep Networks, 2017。
• Lundberg and Lee, A Unified Approach to Interpreting Model Predictions, 2017。
• Wang et al., Interpretability in the Wild: a Circuit for Indirect Object Identification in GPT-2 small, 2022。
• Cunningham et al., Sparse Autoencoders Find Highly Interpretable Features in Language Models, 2023。
• Lieberum et al., Gemma Scope: Open Sparse Autoencoders Everywhere All At Once on Gemma 2, 2024。
• Elhage et al., Toy Models of Superposition, 2022。SAEが取り組む問題を定式化した論文です。