用語集
328の用語を1〜2文で定義し、きちんと解説しているページへのリンクを添えています。
A
- A/Bテスト（A/B testing）
- ランダムに割り当てた利用者グループに2つのモデルバージョンを提供し、ビジネス指標や品質指標を比較することです。オフラインのスコアではなく実際の効果を測定し、有意な結果に達するには十分なトラフィックが必要です。
- Actor-Critic（アクター・クリティック）
- 行動を選ぶアクターと、価値を推定して各行動がどれだけ良かったかをアクターに伝えるクリティックという、2つの学習部分を持つRLの設計です。現代の方策勾配法の大半はこの形を取ります。
- Adam（オプティマイザ）
- 各パラメータについて勾配とその二乗の移動平均を保持し、それを使ってステップの大きさを個別に調整するオプティマイザです。調整がほとんど要らず、ほとんどのディープラーニングの作業で既定の選択肢になっています。
- AdamW（オプティマイザ）
- 重み減衰を勾配に織り込むのではなくパラメータに直接適用するAdamで、これにより減衰が意図どおりに働きます。ほとんどのTransformerモデルの学習に使われているオプティマイザです。
- AIエンジニア（AI engineer）
- モデルを自ら学習するのではなく、API、プロンプティング、検索、エージェントを通じて基盤モデルの上に製品を構築するエンジニアを指す新しい肩書きです。必要なスキルは統計よりもソフトウェアエンジニアリングと評価に近いものです。
- AIガバナンス（AI governance）
- モデルをどのように構築、テスト、デプロイ、モニタリングするかを決めるために組織が用いるポリシー、プロセス、役割で、誰がリスクを承認するかも含みます。EU AI Actのような規制や安全性エンジニアリングと重なります。
- ANN（人工ニューラルネットワークの略）
- 人工ニューラルネットワーク（artificial neural network）の略です。検索の文脈では同じ略語が近似最近傍探索（approximate nearest neighbour）を意味するので、どちらを指しているか確認してください。
- Apache-2.0とMIT
- モデルの重みとコードに最もよく使われる2つの寛容なオープンソースライセンスで、帰属表示を条件に商用利用と改変を許可します。Apache-2.0は明示的な特許許諾を追加しており、多くの企業がこちらを好む理由です。
- ASR（automatic speech recognition、自動音声認識）
- 録音された音声をテキストに変換することです。現在のシステムは数十万時間の音声で学習したエンコーダ・デコーダ型またはCTC型のTransformerで、単語誤り率で評価されます。
B
- bfloat16（16ビット浮動小数点形式）
- 32ビット浮動小数点の8ビット指数部を保ち、代わりに仮数部の精度を削った16ビット浮動小数点形式です。float32と同じ範囲をカバーするためfloat16のオーバーフロー問題を回避でき、現代のハードウェアでは標準的な学習精度になっています。
- BM25（キーワードランキング関数）
- クエリ語の出現頻度で文書を採点し、一般的な語と長い文書を割り引くキーワードランキング関数です。モデルが不要で、珍しい語やコードをうまく扱い、エンベディング検索単独ではしばしば超えられない強力なベースラインであり続けています。
- BPE（byte-pair encoding、バイトペア符号化）
- 単一のバイトや文字から出発し、最も頻出する隣接ペアを語彙が所定の大きさになるまで繰り返し併合していくトークナイザ構築アルゴリズムです。GPT、Llama、その他ほとんどの現行モデルで使われるトークナイザの基礎です。
C
- Classifier-free guidance（分類器不要ガイダンス）
- 条件付き拡散モデルで、プロンプトあり・なしのモデル予測を比較し、各ノイズ除去ステップをプロンプトが示す方向へさらに押し進めるテクニックです。ガイダンスを強くするとプロンプトへの追従は高まりますが、多様性と、場合によっては品質が犠牲になります。
- CLIP（画像・テキスト対照学習モデル）
- 画像用とテキスト用の2つのエンコーダを、画像とキャプションのペアで対照学習し、対応するペアが共有エンベディング空間で近くに来るようにしたものです。ゼロショット画像分類を可能にし、多くのマルチモーダルモデルやテキストから画像を生成するモデルに画像エンコーダを提供しています。
- CNN（convolutional neural network、畳み込みニューラルネットワーク）
- 小さなフィルタで画像を走査する畳み込み層とプーリング層から構成され、同じ特徴検出器をすべての位置で再利用するネットワークです。2012年からVision Transformerの登場まで画像分野の支配的なアーキテクチャであり、小型デバイスでは今も効率的です。
- Constitutional AI（憲法AI）
- Anthropicによるアラインメント手法で、モデルが文書化された原則集に照らして自身の応答を批評・修正し、その修正とAIが生成した選好をさらなる学習に使います。無害性の学習に必要な人手によるラベル付けの量を減らします。
- CTC（connectionist temporal classification、コネクショニスト時系列分類）
- 音声フレームのような長い入力系列を、どのフレームがどの文字に対応するかを知らずに、文字のような短い出力系列へ対応づけるための損失関数です。モデルはブランク記号を出力でき、ブランク間で繰り返された記号は1つにまとめられます。
- CUDA（NVIDIAのGPU計算プラットフォーム）
- NVIDIAのGPU上で汎用計算を実行するための同社のプログラミングプラットフォームとライブラリ群です。PyTorch、JAX、ほぼすべてのディープラーニングツールがその上に構築されており、これがNVIDIAの市場での地位と、他のハードウェアへの移行の難しさの主な源泉です。
D
- DPO（direct preference optimisation、直接選好最適化）
- RLHFの報酬モデルとRLループの代わりとなる損失を用いて、好まれた応答と棄却された応答のペアで直接モデルを学習する手法です。より単純で安価に実行できるため、オープンモデルでは一般的な選択肢になっています。
E
- EU AI Act（EU AI法）
- 2024年8月に発効し、2027年にかけて義務が段階的に適用される欧州連合の規制で、AIシステムをリスクで分類し、高リスク用途と汎用モデルに要件を課します。EU内でシステムが使われるすべてのプロバイダに適用されます。
F
- F1スコア（F1 score）
- 適合率と再現率の調和平均で、両方が高いときだけ高くなる1つの数値を与えます。不均衡な分類の一般的な要約指標であり、マクロ平均版はすべてのクラスを平等に扱います。
- FID（Fréchet inception distance、フレシェ・インセプション距離）
- 事前学習済み分類器から取り出した特徴量の統計を、生成画像と実画像とで比較する生成画像のスコアです。低いほど良く、サンプル数と参照セットに敏感です。
- Flash Attention（フラッシュアテンション）
- GPUのオンチップメモリに収まるタイル単位で結果を計算し、注意行列全体を書き出さない注意機構の実装です。標準的な注意機構と同じ答えをはるかに少ないメモリ転送で得られるため、長いコンテキストが実用的になります。
- FLOPS（1秒あたりの浮動小数点演算数）
- 1秒あたりの浮動小数点演算数で、計算能力の代表的な尺度であり、モデルの学習コストは演算の総数として示されます。ピーク値は精度に依存しめったに達成されないため、注目すべきは実測の利用率です。
- FSDP（fully sharded data parallel、完全シャーディングデータ並列）
- モデルのパラメータ、勾配、オプティマイザ状態をデバイス間に分散し、各層を必要なときだけ集めるPyTorchの手法です。そのままでは収まらないモデルのデータ並列学習を可能にし、少数のGPUでのファインチューニングでは一般的な選択肢です。
G
- GAN（generative adversarial network、敵対的生成ネットワーク）
- サンプルを生成する生成器と、それを実データと見分けようとする識別器という、互いに競わせて学習する一対のネットワークです。GANは初めて説得力のある合成顔画像を生み出し、画像生成の大半は拡散モデルに置き換えられたものの、ボコーダや画像超解像では生き残っています。
- GGUF（モデルファイル形式）
- llama.cppが使う単一ファイルのモデル形式で、量子化された重み、トークナイザ、メタデータをまとめて保持します。ノートPCやスマートフォンでオープンモデルを実行する際に最も広く使われている形式です。
- GPU（graphics processing unit、画像処理装置）
- 数千の単純なコアと非常に高いメモリ帯域幅を持つプロセッサで、グラフィックス用に作られましたが、ニューラルネットワークの大半が大規模な行列乗算であるため、今ではディープラーニングの主力です。学習ではNVIDIAのデータセンター向け製品が支配的で、推論ではAMD、Appleなどが競合しています。
- GRPO（group relative policy optimisation、グループ相対方策最適化）
- 各プロンプトに対して複数の応答をサンプリングし、それぞれをグループ平均と比較して採点する言語モデル向けの強化学習手法で、別途の価値ネットワークを不要にします。数学のような検証可能なタスクで推論モデルを学習する際に使われたことで知られるようになりました。
H
- HBM（high bandwidth memory、広帯域メモリ）
- GPUやアクセラレータのダイの隣に積層して実装し、数千本の配線で接続することで毎秒数テラバイトの帯域幅を実現するメモリです。本稿執筆時点でデバイスあたり80 GBから288 GBのその容量が、1つのアクセラレータに収まる最大のモデルを決めます。
- HNSW（hierarchical navigable small world、グラフ型近似最近傍インデックス）
- 近似最近傍探索のためのグラフベースのインデックスで、各ベクトルが複数の層にわたって近くのベクトルとリンクし、クエリはグラフをたどって近傍へ進みます。ほとんどのベクトルデータベースが既定で使うインデックスです。
- Hugging Face Hub（モデル共有リポジトリ）
- ほとんどのオープンモデル、データセット、デモが公開される公開リポジトリで、gitベースのストレージ、モデルカード、transformersライブラリが使うダウンロードAPIを備えています。オープンウェイトの事実上の配布拠点です。
I
- Instructモデル（instruct model）
- 指示チューニングと、通常は選好学習も経たベースモデルで、チャット形式で要求に従います。モデル名ではInstruct、Chat、ITなどの接尾辞でこれを示します。
- IoU（intersection over union、重なり率）
- 予測したボックスまたはマスクと正解との重なり面積を、両者を合わせた面積で割った値で、0から1の範囲を取ります。通常、IoUが0.5を超えると検出は正解と見なされます。
J
- JAX（数値計算ライブラリ）
- NumPy風のAPIに自動微分、XLAによるジャストインタイムコンパイル、デバイス間への容易なマッピングを組み合わせたGoogleの数値計算ライブラリです。TPUでの作業や、vmapやpmapのような関数変換を求める研究グループの主要なフレームワークです。
K
- k-means（k平均法）
- データ中にk個の中心を置き、各点を最も近い中心に割り当てる工程と、各中心をその点群の平均へ動かす工程を交互に繰り返すクラスタリングアルゴリズムです。kは自分で選ぶ必要があり、結果は初期位置に依存します。
- k-NN（k-nearest neighbours、k近傍法）
- 新しい点に対して最も近いk個の学習例を探し、その多数決ラベルや平均値を予測とする手法です。学習ステップがないため、コストはすべて予測時の探索にかかり、これはベクトル検索の背後にある考え方でもあります。
- KVキャッシュ（KV cache）
- それ以前のすべてのトークンについて注意機構のキーと値を保存しておき、新しいトークンは自分の分だけ計算すればよいようにしたものです。生成を速くしますが、コンテキスト長とバッチサイズに比例して大きくなり、推論時の主要なメモリ消費源です。
L
- llama.cpp（推論エンジン）
- 通常のCPU、Apple Silicon、コンシューマー向けGPUで量子化された言語モデルを実行するための、CとC++によるオープンソース推論エンジンです。GGUF形式を定義し、Ollamaや多くのデスクトップアプリケーションの基盤になっています。
- LLM-as-judge（LLMによる評価）
- 完全一致による採点が不可能な場合に、通常はルーブリックや参照回答に照らして、言語モデルに別のモデルの出力を採点させることです。安価に拡張できますが、長い回答や自分自身のスタイルを好むといった評価者モデルのバイアスを引き継ぎます。
- LLM（large language model、大規模言語モデル）
- 非常に大きなテキストコーパスで次トークン予測を学習し、通常はその後に指示に従うよう調整したTransformerです。数億パラメータから1兆パラメータ超まで、どのモデルもこの名で呼ばれます。
- LoRA（low-rank adaptation、低ランク適応）
- 元の重みを凍結し、選んだ各層に加える小さな低ランク行列のペアを学習するファインチューニング手法です。学習対象はモデルの1%未満であることが多く、1枚のGPUやノートPCに収まり、結果は小さなアダプタファイルとして配布できます。
M
- mAP（mean average precision、平均適合率の平均）
- 検出の標準的なスコアで、クラスごとに再現率の各水準で適合率を平均し、さらにクラス間で平均して求め、多くは複数のIoU閾値で算出します。高いほど良く、数値を比較可能にするには正確なプロトコルを明記する必要があります。
- MCP（Model Context Protocol、モデルコンテキストプロトコル）
- Anthropicが2024年11月に公開したオープンなプロトコルで、標準的なクライアントとサーバーのインターフェースを通じてモデルをツール、データソース、プロンプトに接続します。1つのツールサーバーが、このプロトコルを話すどのクライアントアプリケーションとも連携できます。
- MFCC（mel-frequency cepstral coefficients、メル周波数ケプストラム係数）
- メルスペクトログラムから導出した音声フレームごとのコンパクトな数値の組で、スペクトルの形状を十数個程度の値で捉えます。数十年にわたり標準的な音声特徴量であり、小規模なキーワード検出や話者認識のシステムには今も登場します。
- MLOps（機械学習運用）
- モデルをノートブックから本番環境へ移し、そこで動作し続けさせるための実践とツール群で、バージョン管理、パイプライン、サービング、モニタリング、再学習を含みます。DevOpsから借用していますが、コードだけでなくデータとモデルも追跡しなければなりません。
- MLOpsエンジニア（MLOps engineer）
- 本番環境でモデルを動かし続けるためのパイプライン、サービングインフラ、モニタリングを担当するエンジニアです。モデルには独自の運用ツールが必要だとチームが気づくにつれ、DevOpsとプラットフォームエンジニアリングから派生した役割です。
- MLP（multilayer perceptron、多層パーセプトロン）
- 最も素朴なニューラルネットワークで、全結合層を積み重ね、各層の間に活性化関数を挟んだものです。Transformerブロックの内部の構成要素であり、表形式の入力に対する標準的な選択肢でもあります。
- MLX（Apple Silicon向けMLフレームワーク）
- Apple Silicon上の機械学習向けにAppleが開発した配列フレームワークで、NumPy風のAPI、遅延評価、ユニファイドメモリを特徴とします。mlx-lmパッケージでMac上でオープン言語モデルの実行とファインチューニングができます。
- MMLU（知識ベンチマーク）
- 57の学術・専門分野にわたる約14,000問の多肢選択式ベンチマークで、長年にわたり言語モデルの知識を示す代表的なスコアとして使われました。上位モデルは現在90%を超えるため、MMLU-Proなどのより難しい後継が取って代わっています。
- MSE（mean squared error、平均二乗誤差）
- 予測と目標の差の二乗の平均で、回帰の標準的な損失かつ評価指標です。二乗するため大きな誤差を重く罰し、その平方根（RMSE）は目標と同じ単位になります。
N
- NPU（neural processing unit、ニューラル処理装置）
- AppleのNeural Engineや最近のIntel、AMD、Qualcommチップに搭載されたユニットのように、スマートフォンやノートPCに内蔵されたニューラルネットワーク推論用の低消費電力アクセラレータです。小さな量子化モデルを効率よく実行しますが、大きなモデルに必要なメモリはありません。
O
- OCR（optical character recognition、光学文字認識）
- 画像やスキャンしたページから、ページ上の位置も含めてテキストを抽出することです。現代のシステムはテキスト検出器と認識器を組み合わせ、マルチモーダル言語モデルは今や多くの文書を直接読み取ります。
- Ollama（ローカル実行ツール）
- オープンモデルをダウンロードし、1行のコマンドと単純なHTTP APIでローカルに実行するデスクトップ・サーバーアプリケーションです。llama.cpp上に構築されており、ノートPCでオープンモデルを試す最も簡単な方法です。
- ONNX（Open Neural Network Exchange、モデル交換形式）
- 学習済みモデルを標準的な演算子のグラフとして記述するオープンな形式で、あるフレームワークで学習したモデルを別のランタイムで実行できるようにします。ONNX RuntimeはこうしたファイルをCPU、GPU、NPUで実行し、Python外へのデプロイの一般的な経路です。
P
- PagedAttention（ページ化注意）
- すべてのリクエストに最大コンテキスト分を予約するのではなく、オペレーティングシステムがメモリをページングするように、KVキャッシュを必要に応じて割り当てる固定サイズのブロックで管理することです。vLLMが導入し、メモリの無駄を削減してはるかに多くのリクエストが1つのGPUを共有できるようにしました。
- pass@k（コード生成指標）
- サンプリングしたk個の解のうち少なくとも1つがテストに合格する確率を表すコード生成の指標です。pass@1は1回勝負の厳格なスコアで、最もよく引用されます。
- PCA（principal component analysis、主成分分析）
- データの分散が最も大きい方向を見つけ、その上位数方向に射影する線形手法です。次元削減や、エンベディングの集合がどのような形をしているかを調べる際の標準的な最初のツールです。
- PEFT（parameter-efficient fine-tuning、パラメータ効率的ファインチューニング）
- 追加または選択した少数のパラメータだけを学習して大規模モデルを適応させる技法の一族です。LoRAが最もよく知られ、同名のHugging Faceライブラリがいくつかの手法を実装しています。
- pickleのデシリアライズ（pickle deserialisation）
- Pythonのpickleファイルを読み込むことで、埋め込まれた任意のコードが実行され得ます。古いPyTorchのチェックポイントはpickleなので、信頼できない提供元のモデルファイルを読み込むことは信頼できないコードの実行と同義であり、safetensorsが存在する理由です。
- PII（personally identifiable information、個人識別情報）
- 氏名、住所、識別子など、個人を特定するデータと、個人に結びつけられるあらゆるものです。学習データ、プロンプト、ログから排除することはほとんどの法域で法的要件であり、インシデントの頻繁な原因でもあります。
- PPO（proximal policy optimisation、近接方策最適化）
- 目的関数をクリップすることで各更新での方策の変化量を制限し、既定の選択肢になるほど学習を安定させた方策勾配アルゴリズムです。初期のRLHFパイプラインで使われたRLアルゴリズムでした。
- PyTorch（ディープラーニングフレームワーク）
- PyTorch Foundationが管理するオープンソースのディープラーニングフレームワークで、ほとんどの研究コードとオープンモデルのリリースがこれで書かれています。Pythonでテンソルと自動微分を即時実行で定義し、コンパイラモードでは融合されたGPUカーネルを生成します。
Q
- QLoRA（量子化LoRA）
- 重みを4ビットに量子化したベースモデルの上にLoRAを適用するもので、そのままではメモリに収まらないモデルでも適応できるようにします。アダプタ自体はより高い精度で学習します。
- Q学習（Q-learning）
- 各状態における各行動の期待収益を学習して最良のものを選び、観測した報酬から推定値を更新する手法です。その深層版であるDQNは、ピクセルからAtariゲームをプレイした最初の手法でした。
R
- RAILライセンス（RAIL licence）
- 責任あるAIライセンス（Responsible AI Licence）で、モデルを使う広範な権利を与えつつ、偽情報の生成などの禁止用途を列挙します。利用制限付きのオープンウェイトであり、通常の定義ではオープンソースではありません。
- RLHF（reinforcement learning from human feedback、人間のフィードバックによる強化学習）
- 人間の比較判断に報酬モデルを当てはめ、それに対して強化学習で言語モデルを最適化することで、人が高く評価する応答を好むように学習させる手法です。最初に広く使われたチャットアシスタントを支えた手法でした。
- RNN（recurrent neural network、再帰型ニューラルネットワーク）
- 隠れ状態を次へ引き継ぎながら系列を1ステップずつ処理し、前の入力が後の出力に影響できるようにしたネットワークです。LSTMやGRUといった変種が勾配の問題を抑えましたが、言語処理の大半ではTransformerに置き換えられました。
- ROC-AUC（ROC曲線下面積）
- 判定閾値を変化させたときの真陽性率対偽陽性率の曲線の下の面積で、ランダムな陽性例がランダムな陰性例より高いスコアを得る確率に等しい値です。0.5はランダム、1.0は完璧を意味し、特定の閾値の選択には依存しません。
S
- safetensors（重みファイル形式）
- Hugging Faceのモデル重み用ファイル形式で、JSONヘッダーを持つ素朴なテンソル配置であり、コードを実行せずに読み込めます。pickleファイルは開いたときに任意のコードを実行し得るため、Hub上でpickleベースのPyTorchファイルを置き換えました。
- SFT（supervised fine-tuning、教師ありファインチューニング）
- 厳選したプロンプトと応答のペアに対し、通常の次トークン交差エントロピーで言語モデルをファインチューニングすることです。ほとんどのアラインメントパイプラインでは事前学習の次、選好ベースの手法の前に来る最初の段階です。
- SHAP（Shapley additive explanations、シャープレイ加法的説明）
- ゲーム理論のシャープレイ値を借りて、予測を入力特徴量の間で公平に配分する特徴量帰属手法です。表形式モデルの説明における標準ツールで、木のアンサンブル向けには高速な厳密版があります。
- SVM（support vector machine、サポートベクターマシン）
- クラス間のマージンが最も広くなる境界を見つける分類器で、必要に応じてカーネルで入力を高次元空間に写像してから境界を引きます。ディープラーニング以前は多くのタスクで主流の手法であり、小さくきれいなデータセットには今でも適しています。
T
- Tensor Core（テンソルコア）
- NVIDIA GPU内部で小さな行列同士を1回の演算で乗算するユニットで、16ビット以下の精度で最大の高速化が得られます。混合精度や量子化推論は、主としてこれを活用するために存在します。
- TensorRT（NVIDIAの推論ランタイム）
- 学習済みモデルを受け取り、特定のGPU向けに融合・精度調整されたエンジンを生成するNVIDIAの推論最適化ツールとランタイムです。TensorRT-LLMは言語モデル向けの変種で、エンジンはGPU世代間で移植できません。
- Top-pサンプリング（top-p sampling、nucleus sampling）
- 確率の合計がpに達する最小のトークン集合だけから次のトークンをサンプリングし、長い裾を切り捨てる方法です。関連するTop-kサンプリングは、代わりに固定個数のトークンを残す規則です。
- TPU（tensor processing unit、テンソル処理装置）
- Google独自のニューラルネットワーク用アクセラレータで、行列乗算のための大規模なシストリックアレイを中心に構成され、Google Cloudを通じて利用できます。JAXとTensorFlowは直接対応し、PyTorchはXLA経由で利用します。
- Transformer（トランスフォーマー）
- 現代の言語モデルを支えるネットワークアーキテクチャで、注意層とMLP層のブロックを残差接続と正規化でつなぎ、繰り返し積み重ねたものです。2017年に提案され、系列の全位置を1つずつではなく並列に処理します。
- Triton（GPUカーネル言語）
- 個々のスレッドではなくブロック単位でGPUカーネルを書くための、OpenAIによるPythonベースの言語とコンパイラで、PyTorchのコンパイラ内部や多くの推論エンジンで使われています。NVIDIAのTriton Inference Serverと名前を共有していますが、別の製品です。
- TTS（text-to-speech、音声合成）
- テキストから音声を生成することで、通常はメルスペクトログラムやコーデックトークンなどの音響表現を予測し、ボコーダで波形に変換します。短いサンプルからの声のクローニングは現在の多くのシステムの機能であり、悪用への懸念の原因でもあります。
V
- VAE（variational autoencoder、変分オートエンコーダ）
- 符号が点ではなく確率分布であるオートエンコーダで、符号がサンプリング可能な滑らかな空間を満たすように学習します。潜在拡散モデルが動作する潜在空間へ画像を圧縮する構成要素です。
- ViT（vision transformer、ビジョントランスフォーマー）
- 各画像を固定サイズのパッチに切り分け、各パッチをトークンとして埋め込み、その系列に標準的な注意機構を適用することで画像に応用したTransformerです。十分なデータがあればCNNに匹敵または凌駕し、ほとんどのマルチモーダルモデルの画像側を担っています。
- vLLM（推論エンジン）
- GPU上で言語モデルを提供するためのオープンソース推論エンジンで、PagedAttentionと連続バッチ処理を導入したことで知られています。OpenAI互換のAPIを公開しており、セルフホストのデプロイでは一般的な選択肢です。
ア
- アドバンテージ（advantage）
- ある行動が、その状態から期待される平均と比べてどれだけ良い結果になったかを表す量で、方策勾配の更新におけるノイズを減らすために生の収益の代わりに使います。GRPOはグループ内のサンプルを比較してこれを推定します。
- アプライドサイエンティスト（applied scientist）
- 主に大手テクノロジー企業が、製品上の問題にML手法を適用・拡張する研究者に使う肩書きで、通常は博士号を持ちます。リサーチサイエンティストやシニアMLエンジニアと大きく重なります。
- アラインメント（alignment）
- 指示に従う、有害な要求を拒否する、不確実性について正直であるなど、モデルの振る舞いを開発者と利用者の意図に一致させる取り組みです。実務上は指示チューニング、選好学習、それらをめぐる評価を含みます。
- アンサンブル（ensemble）
- 投票、平均、あるいは出力を別のモデルに入力するなどして、複数のモデルを組み合わせて行う予測です。各モデルの誤差が部分的に独立しているため、アンサンブルは通常どの単独メンバーよりも優れます。
ウ
- ウェイクワード（wake word）
- 主要な音声システムが起動する前に、小さな常時稼働モデルが聞き取る短いフレーズです。小さなモデルの常時コストと引き換えに、大きなモデルのコストを必要なときだけに抑えます。誤受理と取りこぼしは配備ごとに相互に調整されます。
エ
- エージェント（agent）
- モデルをループで実行し、ツールを呼び出して結果を読み、タスクが終わるまで次の行動を決めさせるプログラムです。判断はモデルが担い、ツール、制限、メモリは周囲のコードが提供します。
- エージェント型ワークフロー（agentic workflow）
- 自分で手順を決めるエージェントとは対照的に、開発者が設計したモデル呼び出しとツール実行の固定された手順です。ワークフローのほうが予測しやすくテストも安価で、エージェントとして売られている多くのタスクをカバーします。
- エポック（epoch）
- 学習セット全体を1回通して処理することです。学習は通常エポック数で表しますが、大規模言語モデルではデータの大半を1回しか見ないことも珍しくありません。
- エンコーダ（encoder）
- 入力を読み取って表現に変換するモデルの部分で、すべての位置が他のすべての位置を参照できます。BERT系のモデルやエンベディングモデルはエンコーダであり、生成ではなく分類や検索に必要なのはこちらです。
- エンベディング（embedding、埋め込み）
- テキスト、画像、その他の項目を、似たもの同士が近くに来るように表した数百から数千個の数値からなるベクトルです。セマンティック検索、推薦、クラスタリングを支えるデータ構造です。
- エンベディングモデル（embedding model）
- 距離が意味を反映するエンベディングへ入力を写像するよう、通常は対照学習で学習したエンコーダです。小さなものはノートPC上でミリ秒単位で動作し、モデルの選択がインデックス全体のベクトル次元を決めます。
オ
- オートエンコーダ（autoencoder）
- 入力を小さな符号に圧縮し、その符号から入力を再構成するよう学習したネットワークです。ボトルネックが重要な構造の学習を強制し、エンコーダ側は圧縮、ノイズ除去、異常検知に役立ちます。
- オープンウェイト（open weights）
- 学習コード、データ、オープンソースライセンスが伴うかどうかにかかわらず、学習済みパラメータがダウンロード可能な形で公開されているモデルです。ほとんどのオープンモデルは独自ライセンスのもとでのオープンウェイトであり、オープンソースとは同じではありません。
- オープンソースモデル（open-source model）
- Apache-2.0やMITのようにOpen Source Initiativeが認めるライセンスのもと、用途や利用者に制限なく、理想的には学習コードとデータも併せて公開されたモデルです。この基準を満たすモデルは、宣伝文句が示唆するより少数です。
- オープンデータ（open data）
- 再利用を許可するライセンスのもと、収集方法の文書とともに公開されたデータセットです。著作権とプライバシーの問題から、オープンな学習データはオープンモデルの中で最も欠けていることが多い部分です。
- オンポリシーとオフポリシー（on-policy and off-policy）
- オンポリシー手法は現在の方策が取った行動からのみ学習し、オフポリシー手法は古い方策や他のエージェントが収集したデータからも学習できます。PPOはオンポリシー、Q学習はオフポリシーで、この違いがリプレイバッファを使えるかどうかを決めます。
ガ
- ガードレール（guardrails）
- 入力フィルタ、出力分類器、許可ツールのリスト、レート制限など、モデル自身の学習とは独立にポリシーを強制するためにモデルの周囲に置くチェックです。安全性のエンジニアリング層であり、唯一の層であってはなりません。
カ
- カナリアリリース（canary release）
- トラフィックのごく一部を新しいモデルバージョンに振り向け、指標が維持される場合にのみ拡大することです。悪いリリースによる被害を限定し、本番でモデルを展開する一般的な方法です。
グ
- グラウンディング（grounding）
- 検索した文章やツールの結果など、与えられた具体的な根拠にモデルの回答を結びつけ、主張を出典に照らして確認できるようにすることです。根拠付けされた回答でも誤りはあり得ますが、読者はそれがどこから来たかを確認できます。
- グループ化クエリ注意（grouped-query attention、GQA）
- 複数の注意ヘッドが1組のキーと値を共有することで、品質をほとんど損なわずにKVキャッシュをその分だけ縮小します。2023年以降に公開されたほとんどのオープンモデルが採用しています。
ク
- クラスタリング（clustering）
- 群が何であるかを示すラベルなしに、同じ群のメンバー同士が他よりも互いに似ているようにデータ点をまとめることです。セグメンテーション、重複排除、未知のデータセットの探索に使われます。
- クラス不均衡（class imbalance）
- 正常な取引の中の不正取引のように、一部のクラスが他よりはるかに稀な分類データセットのことです。正解率が当てにならなくなるため、リサンプリング、クラス重み、F1やROC-AUCなどの指標が代わりに必要になります。
ゲ
- ゲート付きモデル（gated model）
- ファイルをダウンロードする前に利用条件への同意やアクセス申請が必要なHugging Face Hub上のモデルリポジトリです。コードはトークンで認証する必要があり、初心者にとってよくあるセットアップ上の問題です。
コ
- コサイン類似度（cosine similarity）
- 2つのベクトルのなす角のコサインで、長さに関係なく方向がどれだけ似ているかを測ります。エンベディング間の類似度スコアとして標準的で、正規化されたベクトルでは内積に等しくなります。
- コミュニティライセンス（community licence）
- MetaがLlamaに使い、他社も同様のリリースに使う独自ライセンスで、ほとんどの用途を許可しつつ、帰属表示、利用規約、一定の利用者数を超えた場合の追加条項などの条件を加えます。こうしたモデルはオープンウェイト（制限付き）です。
- コンテキストウィンドウ（context window）
- モデルが一度に注意を向けられるトークンの最大数で、プロンプトと出力を合わせて数えます。それを超えた部分は切り捨てられ、注意のコストは長さとともに増えるため、大きなウィンドウはただではありません。
サ
- サンドボックス化（sandboxing）
- エージェントのツール、特にコード実行とファイルアクセスを、権限とネットワークアクセスを制限した隔離環境内で実行することです。プロンプトインジェクションやモデルの誤りが引き起こし得る被害を限定します。
- サンプリング温度（sampling temperature）
- サンプリング前にロジットを割る数値で、1未満なら分布が最も確からしいトークンに向かって鋭くなり、1より大きければ平坦になります。温度0は常に最上位トークンを選ぶことを意味し、決定的ではありますが常に優れているわけではありません。
ジ
- ジェイルブレイク（jailbreak）
- ロールプレイ、エンコーディングのトリック、多数の例による圧力などを通じて、モデルに安全性の学習を無視させ、通常なら拒否する出力を生成させるよう作られたプロンプトです。防御策は成功率を下げますが、根絶したものはありません。
シ
- シグモイド関数（sigmoid）
- 任意の実数を0から1の範囲に押し込めるS字型の関数で、二値出力ではスコアを確率に変換するために使います。両端が平坦なため、深い隠れ層で使うと勾配消失の一因になります。
- システムプロンプト（system prompt）
- エンドユーザーではなく開発者がコンテキストの先頭に置く指示で、モデルの役割、規則、出力形式を定めます。モデルはこれを優先するよう学習されていますが、しょせんはテキストであり、執拗な攻撃者には上書きされ得ます。
- シャドウデプロイ（shadow deployment）
- 本番トラフィック上で新しいモデルを現行モデルと並行して実行しつつ、現行モデルの回答だけを使うことで、利用者にリスクを与えずに実際の条件下で新モデルを比較できます。その期間中は計算コストが2倍になります。
ス
- スケーリング則（scaling laws）
- パラメータ、データ、計算量を同時に増やすと言語モデルの損失が予測可能に下がることを示す経験的な関係です。所定の予算でどの大きさのモデルを学習すべきかの指針となり、2022年のChinchillaの結果でバランスはパラメータあたりのデータ量を増やす方向に動きました。
- ステアリングベクトル（steering vector）
- 対照的な例やスパースオートエンコーダの特徴から見つけた活性空間内の方向で、推論時にモデルの活性に加えることで、より丁寧に、あるいはより正直にといった方向へ振る舞いを押し動かします。重みを変えずに振る舞いを変えます。
- スパースオートエンコーダ（sparse autoencoder、SAE）
- モデルの内部活性に対してスパース性のペナルティ付きで学習したオートエンコーダで、各活性が非常に大きな辞書の中の少数の活性化した特徴に分解されます。言語モデルで解釈可能な特徴を見つける主要なツールになっています。
- スペクトログラム（spectrogram）
- 波形に短い重なり合うフーリエ変換を施して計算した、各周波数にどれだけのエネルギーが時間とともに存在するかを示す音の画像です。音声を、画像モデルや系列モデルが処理できるものに変えます。
- スループット（throughput）
- サービングシステムが単位時間あたりに完了する仕事量で、毎秒リクエスト数や全利用者合計の毎秒トークン数などです。リクエストをまとめて処理すると一方が上がりもう一方が下がるため、通常はレイテンシとトレードオフの関係にあります。
セ
- セマンティックセグメンテーション（semantic segmentation）
- 画像のすべてのピクセルにクラスをラベル付けし、ボックスではなくマスクを生成することです。インスタンスセグメンテーションはさらに進んで、同じクラスの個々の物体を区別します。
- セマンティック検索（semantic search）
- 共通する単語ではなく、文書のエンベディングとクエリのエンベディングの類似度で文書を見つけることです。言い換えや同義語には強く、正確な識別子には弱いため、キーワード検索と組み合わせることが多いです。
ゼ
- ゼロショット（zero-shot）
- プロンプトに例を一切入れず、指示だけでモデルにタスクを実行させることです。大規模な指示チューニング済みモデルは一般的なタスクならこれをうまくこなすので、最初に試すのが自然です。
ソ
- ソフトマックス関数（softmax）
- 各スコアを指数関数に通して合計で割ることで、スコアのベクトルを正で合計1となる確率に変換する関数です。ほぼすべての分類器の出力と、すべての注意層の内部に置かれています。
チ
- チェックポイント（checkpoint）
- 学習の途中または終了時に保存した、モデルの重み（多くはオプティマイザ状態も含む）のスナップショットです。公開されているモデルはチェックポイントであり、中間のチェックポイントはクラッシュした実行の再開を可能にします。
- チャンキング（chunking）
- エンベディングでき、かつプロンプトに複数収まる程度の大きさに文書を分割することで、通常は数百トークンに多少の重なりを持たせます。表や論旨の途中で切れるチャンク境界は、RAGの回答が悪くなるよくある原因です。
ツ
- ツール使用（tool use）
- 会話の中でモデルが外部の関数、検索、コードを呼び出すことの総称です。
デ
- データサイエンティスト（data scientist）
- 問いに答え予測モデルを構築するためにデータを分析することを中心とした役割で、典型的にはノートブック上で統計と古典的MLを用います。一方の分析業務、他方のMLエンジニアリングとの境界は企業によって異なります。
- データセット（dataset）
- モデルの学習や評価のために集められた例の集合で、出所、形式、ライセンスが文書化されているものです。どのように収集・クリーニングされたかは、たいていのアーキテクチャ上の選択よりもモデルが学べる内容を左右します。
- データドリフト（data drift）
- 新しい商品カテゴリやセンサーの変更など、モデルの本番入力の分布が学習データから離れていくことです。しばしばモデルドリフトに先行し、ラベルなしでも検出できます。
- データポイズニング（data poisoning）
- 特定の入力を誤分類させるなど、攻撃者の望むように振る舞うモデルができるよう、学習セットに例を仕込むことです。Web規模のスクレイピングがこれを現実的にしており、数百の文書で十分な場合もあります。
- データリーク（data leakage）
- テストセットや未来の情報など、学習セットの外にある情報が学習や特徴量構築の際にモデルへ届いてしまうことです。本番で崩れ落ちる評価スコアを生み出し、プロジェクトが自分を欺く最も一般的な原因です。
- データ並列（data parallelism）
- 各デバイスにモデルの完全なコピーと各バッチの異なる一部を与え、それらの勾配を平均して複数デバイスで学習することです。最も単純なスケール方法で、モデルが1つのデバイスに収まらなくなるまで機能します。
- データ拡張（data augmentation）
- 画像の反転や切り抜き、テキストの言い換えなど、ラベルを保つ変換を既存の例に施して学習例を増やすことです。安価な正則化であると同時に、どの変化が重要でないかをモデルに教えます。
- データ流出（data exfiltration）
- エージェントにWebリクエストや描画される画像リンクに秘密情報を含めさせる指示を注入するなどして、モデルを通じてシステムから非公開データを持ち出すことです。エージェントが呼べるツールと外部へ送れるものを制限することが主な防御策です。
- ディープラーニング（deep learning、深層学習）
- 多数の層を積み重ねたニューラルネットワークを勾配降下法でエンドツーエンドに学習する機械学習です。深さがあることで、ネットワークはピクセル、音声サンプル、トークンといった生の入力から自ら特徴量を組み立てられます。
- デコーダ（decoder）
- 出力トークンを1つずつ生成するモデルの部分で、各トークンはそれより前の位置だけを参照します。ほぼすべてのチャットモデルはデコーダのみのTransformerです。
テ
- テキストからの画像生成（text-to-image）
- 文章による説明から画像を生成することで、通常は潜在拡散モデルやフローモデルをテキストエンコーダの出力で条件付けします。出力品質、プロンプトへの忠実度、速度の3軸でシステムは差がつきます。
- テストセット（test set）
- モデルが完成するまで手を付けず、最終性能の報告のために1回だけ使うデータです。開発中に間接的にでも参照すると、それはもう1つの検証セットになってしまいます。
- テンソル（tensor）
- 数値の多次元配列で、あらゆるディープラーニングフレームワークの中心にあるデータ型です。画像のバッチはバッチ・チャネル・高さ・幅の4次元テンソルであり、コードが失敗したときに最初に確認すべきなのはその形状です。
ト
- トークナイザ（tokeniser）
- テキストをトークンに分割して各トークンを整数idに対応づけ、出力時にはその逆を行う構成要素です。モデルファミリーごとに固有のものを持つため、同じテキストでもトークン数はモデルによって異なります。
- トークン（token）
- 言語モデルが読み書きする単位で、通常は単語全体ではなく数文字からなる単語の断片です。英語では1トークンあたりおよそ4分の3語に相当し、料金、コンテキスト上限、速度はすべてトークン数で数えられます。
- トークン課金（token pricing）
- ホスト型LLM APIの課金モデルで、入力100万トークンあたりの価格と、通常はより高い出力100万トークンあたりの価格からなり、キャッシュ済みやバッチのリクエストには割引があります。価格は頻繁に変わるため、本稿執筆時点の価格で比較し、入出力の両方向を考慮してください。
ド
- ドロップアウト（dropout）
- 学習の各ステップで層の活性の一部をランダムにゼロにし、どのユニットも特定の他のユニットに依存できないようにすることです。推論時にはオフになり、小〜中規模のネットワークでは今でも単純で効果的な正則化手法です。
ナ
- ナイーブベイズ（naive Bayes）
- クラスが与えられたとき特徴量は互いに独立であるという単純化した仮定のもとでベイズの定理を適用する高速な分類器です。この仮定はほぼ成り立ちませんが、スパムフィルタのようなテキスト分類ではよく機能します。
ニ
- ニューラルオーディオコーデック（neural audio codec）
- 音声を短い離散トークン列に圧縮し、再構成する学習済みのエンコーダとデコーダです。こうしたトークンにより、言語モデルはテキストに使うのと同じ仕組みで音声や音楽を生成・理解できます。
ノ
- ノイズ除去（denoising）
- 劣化した入力からきれいな版を予測することで、拡散モデルが多くのノイズレベルで学習する唯一のタスクです。生成とはこのステップを繰り返し適用することです。
パ
- パープレキシティ（perplexity）
- トークンあたりの平均交差エントロピーの指数で、モデルが実質的に何個の等確率の選択肢から選んでいたかと読めます。低いほど良いですが、比較できるのはトークナイザとテストテキストを共有するモデル間だけです。
- パラメータ（parameter）
- 重みやバイアス項のように、学習によって変更が許されるモデル内部の数値です。パラメータ数はモデルの大きさを表す一般的な目安で、7 Bモデルなら約70億個のパラメータを持ちます。
バ
- バイアス（公平性）（bias）
- 通常は学習データが特定の集団を過小に含むか過去の差別を符号化しているために、モデルが一部の人々の集団に対して系統的に劣った、または異なる結果を出すことです。集団間で誤り率を比較して測定し、統計的なバイアスとは区別されます。
- バイアス（統計的）（bias）
- どれだけデータを見ても消えない、モデルの予測の系統的な誤差で、多くはモデルのクラスが真の関係を表現できないことが原因です。この語は線形層に加えられる定数項の名前でもあります。
- バイアスとバリアンスのトレードオフ（bias-variance trade-off）
- データに合わせられないほど硬直したモデル（高バイアス）と、特定のサンプルのノイズにまで合わせてしまうほど柔軟なモデル（高バリアンス）の間の緊張関係です。モデル選択とは、おおむねその中間点を探す作業です。
- バウンディングボックス（bounding box）
- 検出器が物体の周囲に予測する長方形で、角または中心の座標と大きさで表されます。ボックスの形式はライブラリによって異なり、取り違えは典型的なバグです。
- バギング（bagging、bootstrap aggregating）
- 学習セットのランダムな再標本でモデルの複製を複数学習し、その予測を平均することです。バリアンスを減らすため、深い木のような不安定な学習器に効果があります。
- バックドア（backdoor、トロイの木馬）
- 珍しいフレーズなどの特定のトリガーでのみ発動し、それ以外では評価で見えない、モデルに学習させた隠れた振る舞いです。データポイズニングの通常の目的であり、事後の検出は困難です。
- バッチサイズ（batch size）
- パラメータを1回更新する前にまとめて処理する学習例の数です。大きなバッチはハードウェアを効率よく使え、勾配も滑らかになりますが、より多くのメモリを必要とし、学習率を上げる必要が出ることもあります。
- バッチ推論（batch inference）
- リクエストに1件ずつ応答するのではなく、大量の入力に対してスケジュールに従ってオフラインでモデルを実行することです。予測が即座に必要でない限り、オンラインサービングより安価で単純です。
- バッチ正規化（batch normalisation）
- 現在のバッチの平均と分散を使って各チャネルの活性を標準化し、学習したパラメータで再スケールする層です。畳み込みネットワークの学習を安定させますが、推論時には挙動が異なるため、思わぬ問題を引き起こします。
ハ
- ハイパーパラメータ（hyperparameter）
- 学習率、バッチサイズ、木の深さ、層の数のように、データから学習するのではなく学習前に決める設定です。ハイパーパラメータは検証セットに対して調整し、テストセットは決して使いません。
- ハイブリッド検索（hybrid search）
- キーワード検索とエンベディング検索を組み合わせ、通常は2つのランキングリストを統合して、互いの弱点を補うことです。本番環境のRAGでは既定の推奨構成です。
- ハルシネーション（hallucination）
- 存在しない引用のように、モデルが自信に満ちた流暢な回答を出すがそれが誤りや捏造であることを指す、この分野の用語です。事実を確認するのではなくもっともらしいテキストを予測することから生じ、どのモデルも免れません。
プ
- プーリング（pooling）
- 小さな窓ごとに最大値または平均値で置き換えて特徴マップを縮小することで、計算量を減らし、結果を厳密な位置に対して鈍感にします。グローバル平均プーリングは、分類の前にマップ全体をチャネルごとの1つの数値に潰します。
- プレプリント（preprint）
- 査読の前、または査読なしにarXivなどのサーバーで公開された論文です。ほとんどのMLの成果はまずプレプリントとして現れ、多くは査読を受けないため、発表先がないのは普通のことですが、その主張にはより多くの懐疑が必要です。
- プロービング（probing）
- 品詞や真実性などの性質がモデルの内部活性から線形に読み取れるかを調べるために、その活性に対して小さな分類器を学習することです。プローブの成功は情報が存在することを示しますが、モデルがそれを使っていることまでは示しません。
- プロンプト（prompt）
- 応答を生成させるためにモデルへ与えるテキストと、画像などその他の入力です。チャットモデルではシステムプロンプト、これまでの会話、ツールの結果が含まれ、そのすべてがコンテキストウィンドウを消費します。
- プロンプトインジェクション（prompt injection）
- モデルの指示を乗っ取る入力中のテキストで、典型的にはシステムプロンプトを無視させたり、利用者が頼んでいない行動を取らせたりします。指示とデータが同じチャネルを共有するため、一度修正すれば済むバグではなく構造的な弱点です。
- プロンプトエンジニアリング（prompt engineering）
- タスクが必要とする出力をモデルが生成するようプロンプトを書いてテストすることで、指示、例、形式、エッジケースの扱いを含みます。ほとんどのチームでは職名ではなくスキルであり、巧みな言い回しより評価のほうが重要です。
- プロンプトキャッシュ（prompt caching）
- 長いシステムプロンプトのようにリクエスト間で繰り返されるプロンプト接頭辞について、計算済みの注意状態を毎回再計算せずに再利用することです。プロバイダはキャッシュされたトークンに低い料金を設定し、応答も速くなります。
フ
- ファインチューニング（fine-tuning）
- 事前学習済みモデルを、より小さなタスク固有のデータセットで追加学習し、振る舞いをそのタスクに寄せることです。すべての重みを更新するものから、少数のアダプタ行列だけに触れるものまであります。
- フィーチャーストア（feature store）
- 学習と本番の推論で同じ定義が使われるように、特徴量を計算、保存、提供するシステムです。本番モデルを静かに劣化させる、オフラインとオンラインの特徴量の不一致を防ぐために存在します。
- フューショット（few-shot）
- モデルがそのパターンを真似できるように、タスクの例を数個プロンプトに含めることです。ファインチューニングに手を伸ばす前に、出力形式やスタイルの問題を直す最も安価な方法です。
- フローマッチング（flow matching）
- ノイズからデータへの直接的な経路をベクトル場として学習し、少数の直線的なステップでたどれるようにする生成モデルの学習法です。拡散学習を一般化し、導出がより単純で、最近のいくつかの画像・動画モデルで使われています。
- フロンティアモデル（frontier model）
- ある時点で利用可能な最も高い能力の水準にあるか、それに近いモデルで、通常は少数の資金潤沢なラボのいずれかが提供します。この語は宣伝だけでなく政策の場でも使われ、何がフロンティアに当たるかは数か月ごとに移り変わります。
ベ
- ベースモデル（base model）
- 指示チューニングを受けていない事前学習済みモデルで、質問に答えるのではなくテキストの続きを書きます。ファインチューニングの出発点としては正しく、チャット相手としては間違った選択です。
- ベイズ的手法（Bayesian methods）
- モデルのパラメータを確率分布を持つ不確実な量として扱い、事前の信念をデータの到着に応じて更新していくアプローチです。計算が難しくなる代わりに較正された不確実性が得られ、この語はナイーブベイズやベイズ最適化の名前にも使われます。
- ベクトルデータベース（vector database）
- 高速な最近傍探索のためにエンベディングをインデックス化するストアで、通常は元のテキストと絞り込み用のメタデータも併せて保持します。専用製品もありますが、小さなコレクションならNumPy配列やpgvectorの列でも同じ役割を果たします。
- ベンダーロックイン（vendor lock-in）
- プロンプトが特定モデルに合わせて調整されている、データがそのプラットフォームにある、コードがCUDAを対象としているなどの理由で、1つのプロバイダのモデル、API、ハードウェアへの依存が乗り換えを高コストにすることです。オープンウェイト、標準API、抽象化層は利便性を多少犠牲にしてこれを軽減します。
- ベンチマーク（benchmark）
- 同じタスクでモデルを比較するために使う固定のデータセットと採点プロトコルです。ベンチマークの数値は名前、バージョン、読み取った日付がなければほとんど意味を持たず、公開ベンチマークは時間とともに学習データへ漏れ込みます。
ボ
- ボコーダ（vocoder）
- ニューラル音声合成において、メルスペクトログラムなどの中間表現を音声波形に変換するモデルです。現代のボコーダは小さなGANや拡散モデルで、実時間より速く動作します。
マ
- マルコフ決定過程（Markov decision process、MDP）
- 状態、行動、遷移規則、報酬からなる強化学習の数学的枠組みで、次の状態は現在の状態と行動だけに依存します。ほとんどのRLアルゴリズムは、問題が少なくとも近似的にはこの形であることを仮定しています。
- マルチモーダル（multimodal）
- テキストと画像、音声、動画のように、複数種類のデータを受け付けたり生成したりするモデルです。現在のフロンティアモデルの大半は画像を入力として受け付け、音声の入出力に対応するものもあります。
メ
- メモリ帯域幅（memory bandwidth）
- プロセッサがメモリと演算ユニットの間で1秒あたりに移動できるバイト数です。LLMの各トークンの生成はすべての重みを1回読むため、小さなバッチでは速度を決めるのはFLOPSではなく帯域幅です。
- メモリ律速と計算律速（memory-bound and compute-bound）
- ワークロードは、プロセッサがデータ移動を待つときメモリ律速、演算を待つとき計算律速です。小さなバッチサイズでのLLMのデコーディングはメモリ律速であり、量子化で速くなる理由も、バッチ処理でスループットが上がる理由もここにあります。
- メルスペクトログラム（mel spectrogram）
- 周波数軸をメル尺度に変換したスペクトログラムで、人間の聴覚と同じように帯域を配置し、低周波ほど細かい分解能を持ちます。音声認識器の標準的な入力であり、音声合成器の標準的な中間出力です。
- メンバーシップ推論（membership inference）
- 通常はモデルが見たことのある例に対してより自信を持つことを利用して、特定のレコードがモデルの学習セットに含まれていたかを判定する攻撃です。個人データで学習したモデルにとってのプライバシーリスクであり、記憶の有無を調べるテストでもあります。
モ
- モード崩壊（mode collapse）
- 生成器が識別器を欺ける少数の種類の出力しか生成せず、データの残りの多様性を無視してしまうGANの失敗です。GANの学習を安定させるのが難しい理由のひとつです。
- モーメンタム（momentum）
- 過去の勾配の移動平均を保持し、生の勾配ではなくその平均に沿って進む、勾配降下法への追加機構です。ノイズの多い更新を滑らかにし、一貫した方向への進みを速めます。
- モデル（model）
- 調整可能なパラメータを持ち、入力を予測に写像する関数と、学習後にそのパラメータが取った値の組です。係数が2つの線形回帰も、70 Bパラメータの言語モデルも、この意味ではどちらもモデルです。
- モデルカード（model card）
- モデルの想定用途、学習データ、評価結果、制限事項、ライセンスを記述した短い構造化文書です。Hugging Face Hubはリポジトリごとに1つを期待しており、その各節が利用者の問うべき質問を促します。
- モデルサービング（model serving）
- 他のソフトウェアが予測を要求できるように、通常はHTTPエンドポイントであるインターフェースの背後でモデルを実行することです。サービング層はバッチ処理、並行性、バージョン管理、ハードウェアへの配置を担い、LLMではvLLMのような専用エンジンがその役割を果たします。
- モデルドリフト（model drift）
- 予測対象の世界が学習時から変化したために、デプロイ済みモデルの精度が時間とともに低下することです。モニタリングで検出し再学習で修正するため、本番システムには最初から再学習の経路が必要です。
- モデルライセンス（model licence）
- モデルの重みに付随する法的条件で、標準的なソフトウェアライセンス、用途や規模の制限を持つ独自のコミュニティライセンス、禁止用途のリストを持つ責任あるAIライセンスのいずれかです。コードのライセンスと異なる場合があるため、出荷前に読んでください。
- モデルレジストリ（model registry）
- 学習済みモデルのバージョンをメタデータ、系譜、デプロイ状態とともに管理するカタログで、トラフィックを処理しているモデルを常に特定しロールバックできるようにします。パッケージリポジトリのモデル版にあたります。
- モデル並列（model parallelism）
- 層ごと（パイプライン並列）または個々の重み行列を分割して（テンソル並列）、1つのモデルを複数デバイスに分散し、1デバイスのメモリより大きなモデルを学習・提供できるようにすることです。デバイス間の高速なリンクが必要です。
- モデル抽出（model extraction）
- APIを通じて繰り返し問い合わせ、その回答でコピーを学習することで、モデルの振る舞いや重みを再構成することです。クローズドモデルの提供者にとっての懸念であり、競合の出力からの蒸留はその商業的な形態です。
- モニタリング（monitoring）
- 障害、ドリフト、悪用を捉えるために、デプロイ済みモデルの入力、出力、性能を継続的に監視することです。通常のサービスと違い、モデルは完全に稼働していながら自信を持って誤った答えを返し得るため、モニタリングは予測そのものを見なければなりません。
ユ
- ユニファイドメモリ（unified memory）
- Apple Siliconのように、CPUとGPUが1つのメモリプールを共有する設計で、モデルを両者間でコピーする必要がなく、マシンのRAMの大部分を使えます。64 GBのノートPCが24 GBのディスクリートGPUでは動かせないモデルを実行できるのはこのためです。
ラ
- ラベル（label）
- アヤメのレコードに付いた品種や画像のカテゴリのように、学習例に付随する既知の正解です。教師あり学習が予測しようとするものであり、評価で比較対象となるものでもあります。
- ランダムフォレスト（random forest）
- 行のランダムサンプルと特徴量のランダムな部分集合でそれぞれ学習した決定木のアンサンブルで、各木の投票を平均します。調整がほとんど要らず、表形式データに対する信頼できる最初のモデルです。
リ
- リーダーボード（leaderboard）
- 1つ以上のベンチマーク、または人間の選好投票に基づいて公開されたモデルのランキングです。モデルの追加やプロトコルの変更で順位は動くため、そこから引用するどの数値にも日付が必要です。
- リサーチエンジニア（research engineer）
- 研究者と共に働き、その研究に必要なインフラ、学習実行、実験を構築するエンジニアです。博士号を持たない優秀なエンジニアがフロンティアラボに入る最も一般的な経路です。
- リサーチサイエンティスト（research scientist）
- 企業の研究所や学術機関で、新しい手法の開発と成果の発表に注力する役割です。通常は博士号と論文実績が求められ、フロンティアラボでは大規模な学習の仕事も含まれます。
- リプレイバッファ（replay buffer）
- オフポリシーのアルゴリズムが直近のステップだけでなく過去の遷移からサンプリングして学習するための記憶領域です。連続するサンプル間の相関を断ち切り、データを再利用します。
- リランカー（reranker）
- クエリと各候補文書を一緒に読み、第一段階の検索よりも丁寧に関連度を採点するモデルです。すべてのペアを読むにはコレクション全体では遅すぎるため、上位数十件の結果に対して適用します。
レ
- レート制限（rate limit）
- APIキーごとに毎分のリクエスト数やトークン数に対してプロバイダが設ける上限で、多くは支払い実績によって段階化されています。本番コードはその結果生じるエラーをリトライとバックオフで処理しなければならず、制限は代替プロバイダを確保しておく実務上の理由です。
- レイテンシ（latency）
- リクエストを送ってから応答を受け取るまでの時間です。言語モデルでは、利用者が体感する最初のトークンまでの時間と、テキストが流れる速さを決める出力トークンあたりの時間に分かれます。
- レイヤー正規化（layer normalisation）
- バッチ方向ではなく、各例の特徴量方向に活性を標準化するもので、どんなバッチサイズでも系列データでも機能します。Transformerはこれ（またはRMSNormという変種）を各注意ブロックとMLPブロックの前または後に置いています。
- レッドチーミング（red-teaming）
- 公開前に有害な出力、ジェイルブレイク、失敗モードを見つけるために、人間または他のモデルによってモデルやシステムを意図的に攻撃することです。発見した内容は学習データとガードレールに反映されます。
ロ
- ロジスティック回帰（logistic regression）
- 特徴量の重み付き和をシグモイド関数に通して確率を出す、分類のための線形モデルです。名前に反して分類器であり、小規模な表形式データの問題では今でも打ち負かすのが難しいモデルです。
- ロジット（logits）
- ソフトマックスで確率に変換する前に、モデルが各クラスまたは各トークン候補に対して出す生のスコアです。温度などのサンプリング制御はこれに対して作用します。
- ロジットレンズ（logit lens）
- モデルの最終出力層を途中の層の活性に適用し、その深さでモデルが何を予測するかを見ることです。Transformerの層を通じて予測がどのように形成されるかの大まかな像が得られます。
ワ
- ワンホットエンコーディング（one-hot encoding）
- カテゴリ値を、そのカテゴリの位置だけが1で他が0のベクトルとして表す方法です。カテゴリ間に順序があるという誤った含意を避けられますが、カテゴリが多いと幅が広く疎な入力になります。
事
- 事前学習（pretraining）
- 基盤モデル構築の最初で最も高コストな段階で、自己教師あり目的関数を使って巨大なラベルなしコーパスから一般的なパターンを学びます。指示チューニングからアラインメントまで、その後の工程はすべて、すでに言語を知っているモデルを調整するものです。
交
- 交差エントロピー（cross-entropy）
- 分類の標準的な損失で、モデルが正解クラスに割り当てた確率の負の対数に等しい値です。言語モデルの事前学習は、各トークン位置で語彙全体に対する交差エントロピーを計算することに他なりません。
- 交差検証（cross-validation）
- データをk個のフォールドに分け、1つを除いた残りで学習し、除いたフォールドでテストすることを順番に繰り返して平均し、性能を推定する方法です。小さなデータセットを余さず使い、たまたま良かった1つの数値ではなくスコアのばらつきが得られます。
人
- 人工ニューラルネットワーク（artificial neural network）
- 入力の重み付き和を計算して非線形の活性化関数に通す単純なユニットを層状に並べて作るモデルです。重みは学習で決まり、十分な層とデータがあれば非常に複雑な関数を近似できます。
位
- 位置符号化（positional encoding）
- そのままでは順序を認識できない注意機構が、各トークンの系列内の位置を区別できるようにトークン表現に加える情報です。現在のオープンモデルでは回転位置埋め込み（RoPE）が一般的です。
価
- 価値関数（value function）
- ある状態から、あるいはある状態で所定の行動を取ったときに期待される将来の報酬の合計の推定値です。これを学習することで、エージェントは最終結果を待たずに行動を評価できます。
再
- 再現性（reproducibility）
- 公開されたコード、データ、シード、環境から同じ結果を再び得られることです。GPUの非決定性、非公開の学習データ、変化し続ける依存関係のために、機械学習ではほとんどのソフトウェアより難しくなります。
- 再現率（recall）
- 実際に陽性だった例のうち、モデルが陽性と判定したものの割合です。再現率が高いほど取りこぼしが少なく、スクリーニングのように取りこぼしのコストが大きい場合に重要です。
分
- 分類（classification）
- スパムかそうでないかのように、入力が固定されたカテゴリ集合のどれに属するかを予測することです。二値分類はクラスが2つ、多クラス分類は複数、マルチラベル分類は同時に複数のクラスを許します。
割
- 割引率（discount factor）
- 将来の報酬ほど重みを減らす0から1の間の数値です。報酬の合計を有限に保ち、エージェントがどれだけ先まで計画すべきかを表します。
勾
- 勾配（gradient）
- すべてのパラメータに関する損失の偏微分を並べたベクトルで、損失が最も速く増える方向を指します。学習ではパラメータをその逆方向に動かします。
- 勾配クリッピング（gradient clipping）
- 勾配のノルムが閾値を超えたときに再スケールし、1つの悪いバッチがパラメータを大きく狂わせないようにすることです。ほぼすべてのTransformer学習レシピがノルム約1でクリップしています。
- 勾配チェックポインティング（gradient checkpointing）
- 中間の活性を破棄し、逆伝播の際に再計算することで学習時のメモリを節約することです。計算量が約3分の1増える代わりに、同じハードウェアでより大きなモデルやバッチを扱えます。
- 勾配ブースティング（gradient boosting）
- 前の木がまだ残している誤差に合わせて小さな木を1本ずつ追加し、アンサンブルを構築する手法です。XGBoost、LightGBM、CatBoostなどのライブラリが実装しており、表形式データのコンペティションを席巻しています。
- 勾配消失（vanishing gradient）
- 多くの層を逆伝播するうちに勾配がゼロに向かって縮み、前のほうの層が学習しなくなる現象です。ReLU活性化関数、注意深い初期化、正規化層、残差接続が標準的な対策です。
- 勾配爆発（exploding gradient）
- 深いネットワークや再帰型ネットワークで勾配が際限なく増大し、巨大な更新と、NaNに飛ぶ損失を生む現象です。勾配クリッピングと学習率の引き下げが通常の対処です。
- 勾配降下法（gradient descent）
- 損失の勾配を繰り返し計算し、その逆方向に小さな一歩を進める基本的な学習手続きです。歩幅は学習率で決まり、実用されているほぼすべてのオプティマイザはこのループの変種です。
単
- 単語誤り率（word error rate、WER）
- ASRの標準指標で、文字起こし結果を参照テキストに一致させるのに必要な単語の置換・挿入・削除の数を、参照テキストの長さで割った値です。100%を超えることもあり、比較前にテキストをどう正規化するかに大きく依存します。
受
- 受容野（receptive field）
- ある層の1つの活性に影響を与えられる入力画像上の領域です。深さとともに広がり、最終層の受容野が認識すべき物体より小さいネットワークは苦戦します。
合
- 合成データ（synthetic data）
- 現実世界から収集するのではなく、プログラムや別のモデルが生成した学習・テストデータです。不足を埋めプライバシーを守りますが、それを生成したものの偏りや盲点をそのまま受け継ぎます。
回
- 回帰（regression）
- 価格や気温のような連続値を入力の特徴量から予測することです。カテゴリを予測する分類と対比されます。
- 回路（circuit）
- テキストの前のほうから名前をコピーするなど、1つの識別可能な振る舞いを共同で実装する、注意ヘッドとニューロンの集合からなるネットワークの小さな部分グラフです。回路の発見と検証は機械論的解釈可能性の中心的な活動です。
基
- 基盤モデル（foundation model）
- 幅広いデータで事前学習し、タスクごとにゼロから学習するのではなくプロンプトやファインチューニングで多くの下流タスクに適応できるようにした大規模モデルです。言語、画像、マルチモーダルのモデルを含みます。
報
- 報酬（reward）
- 行動の後に環境が返す数値信号で、エージェントは時間を通じてこれを最大化しようとします。エージェントは報酬が許すどんな近道も悪用するため、その設計は多くのRL問題で最も難しい部分です。
- 報酬モデル（reward model）
- 人間または自動の選好判断で学習し、応答の良さを採点するモデルで、RLHFの学習信号として使われます。方策は報酬モデルが過大評価するものを何でも悪用するように学ぶため、報酬モデルの誤りはそのまま方策の誤りになります。
学
- 学習セット（training set）
- モデルのパラメータを当てはめるために使うデータの部分です。ここに含まれるものは、定義上、汎化の公正なテストにはなりません。
- 学習不足（underfitting）
- モデルが単純すぎるか学習が不十分で、データのパターンを捉えきれず、学習セットに対してさえ性能が悪い状態です。対策は通常、容量を増やす、学習を長くする、特徴量を改善する、のいずれかです。
- 学習後量子化（post-training quantisation）
- 完成したモデルを追加学習なしに量子化することで、通常はスケールを決めるために小さな較正セットを使います。GPTQとAWQは言語モデル向けの一般的な重みのみの手法で、量子化を考慮した学習はよりコストの高い代替手段です。
- 学習率（learning rate）
- パラメータ更新時に勾配に掛ける係数で、各学習ステップの大きさを決めます。高すぎると損失が発散し、低すぎると学習が進まないため、最初に調整すべきハイパーパラメータです。
- 学習率スケジュール（learning-rate schedule）
- 学習率を固定せず、学習の進行に応じて変える規則で、典型的にはゼロからの短いウォームアップの後にコサインまたは線形の減衰を行います。Transformerの学習はこれに敏感で、ウォームアップの欠如は序盤の発散のよくある原因です。
実
- 実験管理（experiment tracking）
- 結果を比較・再現できるように、すべての学習実行についてコードのバージョン、データ、ハイパーパラメータ、指標、成果物を記録することです。MLflowやWeights and Biasesなどのツールがこれを行い、スプレッドシートでも何もないよりはましです。
対
- 対照学習（contrastive learning）
- 対応するペアの表現を近づけ、対応しないペアの表現を遠ざける学習目的です。エンベディングモデルやCLIPが、すべての例に明示的なラベルを付けずに学習できるのはこの仕組みによります。
層
- 層化サンプリング（stratified sampling）
- 各分割が全体と同じクラスや群の比率を保つようにデータを分けることです。小さな検証セットから稀なクラスが丸ごと消えるのを防ぎます。
差
- 差分プライバシー（differential privacy）
- 較正されたノイズを加えることで、特定の1人のレコードが含まれるか否かで計算結果がわずかしか変わらないことを数学的に保証するものです。学習に適用すると、精度をいくらか犠牲にして、モデルが個人について記憶できる内容を制限します。
強
- 強化学習（reinforcement learning）
- 正しい行動の例なしに、環境の中で行動して報酬を受け取ることで何をすべきかを学ぶことです。学習者は新しい行動の探索と有効と分かっている行動の活用を天秤にかけねばならず、報酬の功績はずっと前に取った行動にあることもあります。
思
- 思考の連鎖（chain of thought）
- 答えを出す前に中間的な推論ステップを書き出すよう、モデルにプロンプトで促すか学習させることです。算術や多段階の問題で結果が改善し、推論モデルはこの振る舞いを組み込んでいます。
投
- 投機的デコーディング（speculative decoding）
- 小さく高速なドラフトモデルに複数のトークンを提案させ、大きなモデルが1回の順伝播でそれらを検証して、一致する接頭辞を採用することです。出力は大きなモデル自身のサンプリングと同一で、2〜3倍の高速化が典型的です。
拡
- 拡散モデル（diffusion model）
- サンプルから少量のノイズを除去するよう学習し、純粋なノイズから繰り返し実行して画像、音声クリップ、動画を生成する生成モデルです。現在のほとんどの画像生成器を支える手法です。
指
- 指示チューニング（instruction tuning）
- 指示と良い応答を対にした例でベース言語モデルをファインチューニングし、テキストの続きを書くのではなく要求に答えるようにすることです。生の事前学習済みモデルをアシスタントとして使えるものに変えるのはこの工程です。
探
- 探索と活用（exploration versus exploitation）
- 価値が不確かな行動を試すか、報われると分かっている行動を繰り返すかの選択です。探索が少なすぎると劣った戦略に固定され、多すぎると報酬を無駄にするため、あらゆるRLアルゴリズムはこのバランスのための何らかの規則を持っています。
推
- 推論（inference）
- 学習済みモデルを新しい入力に対して実行し、予測を生成することで、学習と対をなす工程です。言語モデルでは、1秒あたりトークン数とメモリで測る推論コストが、システムの生涯コストの大半を占めるのが普通です。
- 推論モデル（reasoning model）
- 最終回答の前に長い中間トークンの連鎖を生成するよう学習した言語モデルで、推論時の計算を増やす代わりに数学、コード、多段階タスクでより良い結果を得ます。中間テキストはプロバイダによって非表示、要約、または表示されます。
損
- 損失関数（loss function）
- モデルの予測が目標からどれだけ離れているかを採点し、学習が減らそうとする1つの数値を返す式です。最初に出会うのは平均二乗誤差と交差エントロピーの2つでしょう。
教
- 教師あり学習（supervised learning）
- それぞれに正解が付いた例から学習し、入力から正解を再現できるようにモデルを訓練する方法です。分類と回帰が代表的な2つの形式です。
- 教師なし学習（unsupervised learning）
- 正解を持たないデータから構造を見つけることで、たとえば似たレコードをまとめたり、より少ない次元に圧縮したりします。クラスタリングと次元削減が典型的なタスクです。
敵
- 敵対的サンプル（adversarial example）
- 慎重に計算したピクセルノイズを加えた画像のように、人には知覚できない形で改変され、モデルに自信を持って誤った答えを出させる入力です。モデルの決定境界が人間のものとは悪用可能な形で異なることを示しています。
文
- 文脈内学習（in-context learning）
- 重みをまったく変えずに、プロンプト内の例や指示からモデルがタスクを理解することです。プロンプティングがそもそも機能する根拠となる能力であり、モデルの規模とともに強まります。
方
- 方策（policy）
- 各状態で行動を選ぶためにエージェントが従う規則で、多くは行動の確率を出力するニューラルネットワークです。方策の学習が強化学習の目標であり、RLHFでは言語モデルが方策にあたります。
- 方策勾配法（policy gradient）
- 報酬を得た行動がより起こりやすくなる方向へ、方策のパラメータを直接調整する手法の一族です。PPOもGRPOも方策勾配法です。
枝
- 枝刈り（pruning）
- 寄与の小さい重み、ニューロン、層全体を取り除き、より小さいか疎なモデルを残すことです。非構造化スパース性は通常のハードウェアではほとんど高速化につながらないため、実際に効果を出すのはブロック全体を落とす構造化枝刈りです。
査
- 査読（peer review）
- 学会や学術誌が論文を採択する前に、他の研究者が行う評価です。主要なML学会であるNeurIPS、ICML、ICLRはそれぞれ年間1万件を超える投稿を受け付けており、その査読にはばらつきが大きいことが知られています。
検
- 検索拡張生成（retrieval-augmented generation、RAG）
- まずストアから関連文書を検索し、それをコンテキストとして言語モデルに与えて回答させることでクエリに答える方式です。再学習なしにモデルが非公開情報や最新情報を使えるようになり、その品質は検索ステップに大きく左右されます。
- 検証セット（validation set）
- 学習から取り分けておき、ハイパーパラメータの選択、モデルの比較、学習を止める時期の判断に使うデータです。これらの判断が検証セットに対して行われるため、そのスコアはやや楽観的になり、別にテストセットを設ける理由となっています。
構
- 構造化出力（structured output）
- 自由なテキストではなく、通常はスキーマに合致するJSONのような固定の機械可読形式でモデルにデータを返させることです。プロバイダはデコーディングをスキーマに制約でき、丁寧に頼んで結果を解析するより信頼できます。
機
- 機械学習（machine learning）
- 手で書き下すのではなく、データに合わせて振る舞いを決めるプログラムを作ることです。学習アルゴリズムは、例となる入力に対する出力が目的の結果と一致するまで、モデルのパラメータを調整します。
- 機械学習エンジニア（machine learning engineer）
- ソフトウェアシステムの一部としてモデルを構築、学習、出荷し、データパイプライン、学習コード、サービングを担当するエンジニアです。データサイエンスとソフトウェアエンジニアリングの中間に位置し、多くのチームでは両方を吸収しています。
- 機械論的解釈可能性（mechanistic interpretability）
- 活性の中の特徴とそれらを組み合わせる回路を特定するなど、学習済みネットワークの内部計算を人が理解できる部品にリバースエンジニアリングすることです。モデルを探るべきブラックボックスではなく、逆コンパイルすべきプログラムとして扱います。
欠
- 欠損値補完（imputation）
- 学習前に欠損値を定数、列の統計量、または他の列からの予測で埋めることです。どの方法が適切かは値が欠けている理由によって決まり、欠損しているという事実そのものを特徴量として残す価値があることも多いです。
次
- 次元削減（dimensionality reduction）
- 可視化、圧縮、ノイズ除去のために、高次元データの構造をできるだけ保ったまま少ない次元へ写像することです。線形手法の主力はPCAで、プロットにはt-SNEとUMAPがよく使われます。
正
- 正則化（regularisation）
- 大きな重みにペナルティを課す、ユニットをランダムに落とす、早めに学習を止めるなど、モデルが学習データに過度に適合するのを抑える技法の総称です。学習精度を少し犠牲にして、より良い汎化を得ます。
- 正規化フロー（normalising flow）
- 可逆な変換の連鎖で構築された生成モデルで、任意のサンプルの正確な確率を計算できます。画像では拡散モデルほど一般的ではありませんが、尤度が重要な場面では今も有用です。
- 正解データ（ground truth）
- 評価において予測の比較対象となる参照解答で、通常は人間が付けたラベルです。この言葉はラベルがしばしばどれほどノイズを含むかを隠しており、ラベル付け者間の不一致が測定可能な正解率の上限を定めます。
- 正解率（accuracy）
- 予測のうち正しかったものの割合です。最も分かりやすい指標ですが、クラスが不均衡な場合には常に多数派クラスを予測するだけで高得点になるため、誤解を招きます。
残
- 残差接続（residual connection）
- 層の入力をその出力に直接加えることで、層は補正分だけを学習すればよくなります。残差経路によって勾配が非常に深いネットワークを通って流れるようになり、TransformerやResNetを数十〜数百層積み重ねられるのはこのためです。
汎
- 汎化（generalisation）
- 学習に使っていないデータに対してモデルがどれだけうまく機能するかです。実務で唯一意味を持つのはこれであり、ホールドアウトデータでの評価が重視されるのはそのためです。
汚
- 汚染（contamination）
- ベンチマークの問題や解答がモデルの学習データに含まれていることで、能力の向上なしにスコアを水増しします。Webテキストで学習したモデルでは排除が難しく、データリークの一形態です。
決
- 決定木（decision tree）
- 特徴量についてのはい・いいえの質問を順に重ね、そのたびにデータをさらに分割して分類や予測を行うモデルです。単独の木は読みやすい反面すぐに過学習するため、通常はアンサンブルにまとめて使います。
注
- 注意マップ（attention map）
- ある位置がどのトークンやパッチに注意を向けたかを示す注意重みの可視化です。説明として読みたくなりますが、注意重みはモデルが実際に使ったものとは緩やかにしか関係していません。
- 注意機構（attention、アテンション）
- 系列内の各位置が他の位置から情報を集める仕組みで、学習したクエリが各キーにどれだけ合致するかで重み付けします。自己注意は1つの系列内の位置同士を関係づけ、マルチヘッド注意はそのような検索を複数並行して行います。
活
- 活性パッチング（activation patching）
- ネットワークのある部分の活性を別の入力での値に置き換え、出力がどう変わるかを観察して、その部分がある振る舞いにとって重要かを検証することです。注意や勾配を読み取るのとは違い、因果的な証拠が得られます。
- 活性化関数（activation function）
- 各ユニットの重み付き和に適用する非線形関数で、これがなければ積み重ねた層は1つの線形写像に潰れてしまいます。隠れ層ではReLUとGELUやSiLUなどの変種が標準で、シグモイドとソフトマックスは出力用に使われます。
混
- 混合エキスパート（mixture of experts、MoE）
- MLP層を複数のエキスパートサブネットワークに分割し、小さなルーターが各トークンをそのうち少数だけに送るTransformerです。トークンあたりの計算量を小さく保ちながら総パラメータ数を大きくできるため、こうしたモデルは総数と活性数の両方を示します。
- 混合精度（mixed precision）
- ほとんどの演算を16ビット浮動小数点で行いつつ、更新用に32ビットのマスターコピーの重みを保持してモデルを学習または実行することです。メモリをほぼ半減させ、Tensor Core上ではスループットを倍にでき、bfloat16の登場で既定で安全に使えるようになりました。
- 混同行列（confusion matrix）
- 真のクラスを行、予測クラスを列とし、各セルに何件の例が入ったかを示す表です。適合率、再現率、その他ほとんどの分類指標はここから直接読み取れます。
潜
- 潜在拡散（latent diffusion）
- 拡散過程を生のピクセルではなくVAEの圧縮された潜在空間で実行することで、計算量を大幅に削減します。Stable Diffusionがこれをテキストから画像を生成するシステムの標準設計にしました。
- 潜在空間（latent space）
- モデルが入力を写像する圧縮された内部表現で、近い点は似た入力に対応します。この空間での補間や編集が、生成やエンベディングの多くのテクニックの仕組みです。
蒸
- 蒸留（distillation）
- より大きな教師モデルの出力や内部の振る舞いを再現するように、小さな生徒モデルを学習することです。教師の能力の多くをわずかな推論コストで引き継ぎ、強いモデルから合成学習データを生成するのもその緩やかな一形態です。
物
- 物体検出（object detection）
- 画像中の関心対象となる物体をすべて見つけ、それぞれにバウンディングボックスとクラスを返すことです。検出器は所定の重なり閾値における平均適合率の平均（mAP）で評価されます。
特
- 特徴量（feature）
- 表の1列やピクセル値のように、モデルが読み取る入力の測定可能な性質のひとつです。ディープラーニングでは、ネットワークが隠れ層で自ら作り出す性質もこの語に含まれます。
- 特徴量エンジニアリング（feature engineering）
- タイムスタンプから曜日を取り出したり、2つの測定値の比を取ったりして、生の入力をモデルがうまく使える列に変換することです。モデルが自分でそのような特徴量を作らない表形式データや古典的モデルで最も重要です。
- 特徴量スケーリング（feature scaling）
- 値域の大きい特徴量が小さい特徴量を圧倒しないように各入力列を再スケールすることで、通常は平均0・分散1に標準化するか、固定区間に押し込めます。距離ベースや勾配ベースのモデルはこれに敏感ですが、木モデルはほとんど影響を受けません。
- 特徴量帰属（feature attribution）
- 特定の予測に対して各入力特徴量がどれだけ寄与したかのスコアを割り当てることです。勾配ベースの手法、SHAP、摂動ベースの手法はいずれもこれを行いますが、仮定が異なり、しばしば答えも異なります。
画
- 画像分類（image classification）
- ImageNetの1000クラスのように、固定された集合から画像全体に1つのラベルを割り当てることです。最も単純な画像タスクであり、より難しいタスク向けのバックボーンを事前学習する一般的な方法です。
畳
- 畳み込み（convolution）
- 小さな学習済みフィルタを入力上で滑らせ、各位置で重み付き和を計算して、そのフィルタのパターンがどこに現れるかのマップを作ることです。浅い層はエッジやテクスチャを、深い層は部品や物体を学習します。
目
- 目的関数（objective）
- 学習が最適化する量で、通常はバッチ全体で平均した損失に正則化項を加えたものです。損失と目的関数はしばしば同じ意味で使われますが、目的関数には損失に含まれないペナルティが入ることがあります。
知
- 知識カットオフ（knowledge cutoff）
- モデルの学習データがそれ以降を含まない日付で、それより後の出来事はプロンプトで与えない限りモデルは知りません。検索やツール使用は、ひとつにはこれを回避するために存在します。
破
- 破滅的忘却（catastrophic forgetting）
- 新しい学習がそれまでの能力を支えていた重みを上書きしてしまい、ファインチューニング前に持っていた能力をモデルが失うことです。低い学習率、一般的なデータの混合、アダプタ手法はいずれもこれを軽減します。
確
- 確率的勾配降下法（stochastic gradient descent、SGD）
- 各ステップで、データセット全体ではなく小さなランダムなバッチから得た勾配を使う勾配降下法です。ノイズのために個々のステップは荒くなりますが、メモリに収まらないデータセットでも学習を拡張できます。
系
- 系列変換（sequence-to-sequence）
- 翻訳や要約のように、入力系列を読んで長さの異なりうる出力系列を書き出すモデルです。古典的な構成ではエンコーダとデコーダを組み合わせ、両者をつなぐために注意機構が考案されました。
線
- 線形回帰（linear regression）
- 入力特徴量の重み付き和に定数を加えた値として数値を予測するモデルで、二乗誤差を最小化して当てはめます。最も単純で有用なモデルであり、他のあらゆる回帰モデルが上回るべきベースラインです。
自
- 自己回帰（autoregressive）
- それ以前の要素から各要素を予測し、その予測を入力として戻すことで系列を生成する方式です。言語モデルがテキストをトークン単位で生成する理由であり、生成コストが出力長とともに増える理由でもあります。
- 自己教師あり学習（self-supervised learning）
- 各例の一部を隠し、それをモデルに復元させることでラベルなしデータから学習する方法で、データ自身が目標を与えます。テキストの次トークン予測や、マスクされた画像パッチの再構成がその例です。
解
- 解釈可能性（interpretability）
- 予測を入力特徴量に帰属させる手法から、ネットワーク内部の計算をリバースエンジニアリングする手法まで、モデルがなぜその出力を出したのかを研究する分野です。デバッグ、安全性、規制上の必要に応えます。
計
- 計算予算（compute budget）
- モデルの学習や実行に使える処理能力の総量で、通常はGPU時間や浮動小数点演算数で示されます。他のどの単一資源よりも可能なことを決定づけ、フロンティアモデルの学習実行の推定額は数億ドルに達します。
評
- 評価ハーネス（evaluation harness）
- テストケースの集合に対してモデルを実行し、出力を採点して再現可能な形で結果を報告するソフトウェアです。言語モデルではプロンプティング、サンプリング設定、回答抽出を扱い、そのそれぞれがスコアを数ポイント動かし得ます。
話
- 話者ダイアライゼーション（speaker diarisation）
- 録音を区間に分割し、声ごとに区間をまとめることで、誰がいつ話したかを特定することです。単語の認識とは別の工程であり、会議の文字起こしではしばしば弱い部分になります。
誤
- 誤差逆伝播法（backpropagation、バックプロパゲーション）
- 出力から逆向きに連鎖律を適用して、ネットワークのすべての重みに関する損失の勾配を計算するアルゴリズムです。PyTorchやJAXの自動微分が代わりにやってくれますが、理解しておくと学習の失敗の大半を説明できます。
説
- 説明可能性（explainability）
- どの特徴量が最も効いたかなど、モデルの判断について人が読める説明を、多くは研究者ではなく利用者や規制当局向けに生成することです。説明はモデルに忠実な場合もあれば、単にもっともらしいだけの場合もあり、この2つは同じではありません。
転
- 転移学習（transfer learning）
- ランダムな重みから学習する代わりに、あるタスクやデータセットでモデルが学んだことを別のタスクの出発点として再利用することです。事前学習済みネットワークのファインチューニングが最も一般的な形で、小さなデータセットでも良いモデルが作れる理由です。
較
- 較正（calibration）
- モデルが示す確信度が実際の正解率と一致しているか、つまり確信度80%の予測が約80%の確率で正しいかどうかです。多くのモデルは過信しており、検証セットでの温度スケーリングが一般的な対処です。
近
- 近似最近傍探索（approximate nearest neighbour search、ANN）
- 真に最も近いものを取りこぼす小さな可能性を受け入れる代わりに、インデックス内のすべてのベクトルと比較せずにクエリに近いベクトルを見つけることです。数百万のエンベディングに対する検索を提供可能な速さにするのはこれです。
連
- 連合学習（federated learning）
- 各自のデータを手元に保持したまま、モデルの更新だけを中央サーバーに送ることで、多数のデバイスや組織にまたがって共有モデルを学習することです。データの移動を減らしますが、更新からも情報が漏れ得るため、差分プライバシーと組み合わせることが多いです。
- 連続バッチ処理（continuous batching）
- バッチ全体の完了を待つのではなく、他のリクエストが終わり次第、新しいリクエストをバッチに加えるようにLLMのリクエストをスケジューリングすることです。GPUを遊ばせず、サービングエンジンでは標準的な機能です。
過
- 過学習（overfitting）
- モデルが学習データのノイズを含む細部まで覚えてしまい、それが新しいデータには当てはまらないため、学習誤差が下がり続ける一方で検証誤差が上がる状態です。データの追加、正則化、早期終了が通常の対策です。
適
- 適合率（precision）
- モデルが陽性と判定した例のうち、実際に陽性だったものの割合です。適合率が高いほど誤警報が少なく、陽性への対処にコストがかかる場合に重要です。
選
- 選好データ（preference data）
- プロンプトと2つ以上の候補応答、どちらが良いかの判断からなる学習例です。報酬モデルとDPOの原材料であり、その品質がその上に築かれるすべての上限を決めます。
重
- 重ね合わせ（superposition）
- ネットワークが活性空間内で重なり合う方向として特徴を格納することで、次元数より多くの異なる特徴を表現することです。単一のニューロンがめったに解釈できない理由を説明し、特徴を分離する手法の動機となっています。
- 重み（weights）
- ニューラルネットワークの学習済みパラメータで、主に各層の入力に掛ける行列を指します。モデルの公開とは通常その重みをファイルとして公開することで、「オープンウェイト」が指すのはこれです。
- 重み減衰（weight decay）
- 更新のたびにすべての重みをわずかにゼロへ近づけることで、大きな重みにペナルティを課し、正則化として働きます。ニューラルネットワークにおけるL2正則化の形です。
量
- 量子化（quantisation）
- 8ビット整数や共有スケールを持つ4ビットのグループなど、学習時より少ないビット数で重み（場合によっては活性も）を保存することです。メモリを削減しメモリ律速の推論を高速化し、品質の低下は8ビットでは小さく、4ビット未満では目立ちます。
間
- 間接プロンプトインジェクション（indirect prompt injection）
- 利用者ではなく、エージェントに与えられるWebページ、メール、文書など、モデルが読み取るコンテンツを通じて届くプロンプトインジェクションです。注入されたテキストが実際の行動を引き起こし得るため、ツールを持つエージェントにとって最大のセキュリティ上の懸念です。
関
- 関数呼び出し（function calling）
- モデルが特定の引数で名前付き関数を実行するよう構造化された要求を出し、呼び出し側プログラムがそれを実行して結果を返し、モデルが続きを進める仕組みです。ツール使用とも呼ばれ、エージェントを構築する基本的な機構です。
電
- 電子透かし（watermarking）
- 生成したテキスト、画像、音声に統計的なパターンを埋め込み、検出器がその出力がモデル由来であると判別できるようにすることです。テキストの透かしはトークン選択に偏りを与えることで機能し、言い換えによって弱められることがあります。
音
- 音声テキスト変換（speech-to-text）
- 自動音声認識の別名で、製品名やAPI名でよく使われます。
- 音声区間検出（voice activity detection、VAD）
- 音声ストリームのどの部分が発話を含み、どの部分が無音や雑音かを判定することです。認識器が背景音を文字起こししないように門番の役割を果たし、長い録音をチャンクに分割します。
顕
- 顕著性マップ（saliency map）
- 入力画像やテキストのどの部分が出力に最も影響したかを示すヒートマップで、通常は入力に関する予測の勾配から作ります。作るのは簡単で、読み過ぎるのも簡単で、しばしばノイズが多いものです。