強化学習
強化学習が実際に何を最適化しているのか、なぜPPOがデフォルトのアルゴリズムになったのか、データが固定されている場合やエージェントが言語モデルである場合に何が変わるのか、そして教師あり学習のほうが適切なのはどんなときかを解説します。
概要
強化学習（RL）は、学習信号が各入力に付いたラベルではなく、一連の意思決定のあとに届く報酬である、機械学習の一分野です。エージェントが行動を選び、環境が新しい状態とスカラーの報酬を返し、エージェントは将来の報酬の総和を最大化する方策を学習しなければなりません。そのためRLは、ある決定が次に起こることを変える場合（ロボット制御、スケジューリング、ゲームプレイ、対話）には適切なツールであり、ラベル付きデータセットがすでに存在する場合には不適切なツールです。
本稿執筆時点で、現場のエンジニアにとってこの分野が重要な理由は2つあります。第一に、同じアルゴリズム、すなわち近接方策最適化（PPO）とその仲間こそが、事前学習済みの言語モデルをアシスタントに変えたものであり、/topics/fine-tuning-and-alignment/にある事後学習のレシピは、そう名乗っていてもいなくてもRLです。第二に、RLは教師あり学習にはない失敗のしかたをします。不用意に書いた報酬を悪用する形で、静かに失敗するのです。
重要な考え方
マルコフ決定過程が契約である
マルコフ決定過程（MDP）は、状態、行動、遷移関数、報酬関数、割引率からなります。方策は状態を行動の分布に写像します。価値関数はある状態からの割引収益の期待値を推定し、Q関数は状態と行動の組について同じことをします。RLのすべては、これらのいずれかをサンプルから推定する手法です。DQN（Mnih et al., 2015）のような価値ベースの手法はQを学習し、貪欲に行動します。方策勾配法は、より高い収益につながった行動の確率を押し上げることで、方策を直接学習します。PPOを含むアクター・クリティック法は両方を学習し、価値の推定を使って方策勾配の分散を減らします。
割引率と報酬は設計上の決定であって、世界についての事実ではありません。ゴールに到達したら+1、それ以外は0という報酬は疎であり、学習が遅くなります。中間報酬で整形すれば学習は速くなりますが、エージェントがゴールに到達しないまま中間報酬だけを集めるように仕向けることにもなります。
PPO: シートベルト付きの方策勾配法
素朴な方策勾配の更新は、新しい方策があらゆる場所で悪化し、集めたデータがもはやその方策を表さないほど大きなステップを踏むことがあります。信頼領域法はステップを制約します。PPO（Schulman et al., 2017）はその制約をクリップされた目的関数に置き換えます。新旧の行動確率の比を0.8から1.2のような帯域にクリップするので、アドバンテージを帯域の外まで追いかけることができません。アドバンテージは一般化アドバンテージ推定（GAE）から得られ、1ステップ収益とモンテカルロ収益をパラメータlambdaで混ぜ合わせます。下のループは、言語モデル向けのものも含め、あらゆるPPO実装にあるものです。
オフラインRL: 固定されたデータセットからの学習
オンラインRLは、現在の方策からさらにデータを集められることを前提にしています。医療、産業制御、あるいはミスごとに現実のコストが発生するあらゆる領域では、手元にあるのは過去の意思決定のログだけです。そのログに対して方策オフ型のアルゴリズムを走らせると失敗します。Q関数がログに一度も含まれない行動について問われ、楽観的に外挿してしまうからです。保守的Q学習（Kumar et al., 2020）のようなオフライン手法は未観測の行動の価値にペナルティを課し、Decision Transformerのような系列モデルのアプローチはRLを条件付き系列予測として扱います。Levineらのサーベイが率直に示している知見は、オフラインRLはデータが多様で報酬に情報があるときには行動クローニングに勝ち、ログがすでにエキスパートの行動を含んでいるときには負ける、というものです。
言語モデルのためのRL
人間のフィードバックによる強化学習（RLHF、Ouyang et al., 2022）は、応答ペアに対する人間の選好で報酬モデルを学習し、次に言語モデルを方策、各トークンを行動、系列末尾での報酬モデルのスコアを報酬としてPPOを実行します。凍結した初期モデルに対するKLペナルティが、報酬モデルがたまたま好む意味不明な出力へ方策が流れていくのを防ぎます。直接選好最適化（DPO、Rafailov et al., 2023）は、目的関数を選好ペアに対する分類損失として書き直すことで報酬モデルとロールアウトのループを取り除きます。安価ですが、検証器からの報酬は使えません。グループ相対方策最適化（GRPO、Shao et al., 2024）はオンラインのループを保ちつつ価値ネットワークを省きます。プロンプトごとに応答のグループをサンプリングし、グループの平均をベースラインに使うのです。DeepSeek-R1（合計671 B、アクティブ37 B、128 kコンテキスト、MITライセンス、2025年1月）は数学とコードに対する検証可能な報酬でGRPOを使い、開発元によれば、思考の連鎖（chain-of-thought）による推論はデモンストレーションではなく報酬だけから創発したとのことです。
どこから始めるか
/learn/beginner/04-training-loop-and-loss/と/learn/beginner/07-your-first-neural-network/に取り組み、方策ネットワークと価値ネットワークが自分にとってありふれた対象になるようにしてください。次に/learn/beginner/09-using-an-llm-well/を読み、事後学習済みのモデルが外からどう見えるかを確認してください。手を動かす練習としては、ライブラリに触れる前にGymnasiumのCartPoleでREINFORCEを実装し、その結果をStable-Baselines3のPPOと比較してください。/reference/pytorch-training-loop/のシートは、これから改変することになるループを扱っています。
ツールとプラットフォーム
| ツール | 用途 | ライセンス | プラットフォーム |
|---|---|---|---|
| Gymnasium | 標準的な環境API、古典制御とAtariのラッパー | MIT | /platforms/opensource/ |
| Stable-Baselines3 | PyTorchによるPPO、SAC、DQNのリファレンス実装 | MIT | /platforms/pytorch/ |
| CleanRL | 読んで改変するための単一ファイル実装 | MIT | /platforms/opensource/ |
| TRL | 言語モデル向けのPPO、DPO、GRPOトレーナー | Apache-2.0 | /platforms/huggingface/ |
| verl | マルチGPUクラスタでのLLM向け大規模RL事後学習 | Apache-2.0 | /platforms/opensource/ |
| OpenAI fine-tuning API | グレーダー付きのホスト型強化ファインチューニング、クローズドウェイト | プロプライエタリ、従量課金 | /platforms/openai/ |
| MuJoCo | 連続制御ベンチマーク向けの物理シミュレーション | Apache-2.0 | /platforms/google/ |
よくある間違い
- 教師あり学習で済むところにRLを使う。ラベルがある、または入手できるなら、それで学習してください。RLは遅延報酬をもつ逐次的な意思決定のための最後の手段です。
- 1つのシードを信用する。RLの結果はシードごとに大きくばらつきます。少なくとも5つを報告し、ばらつきをプロットしてください。
- 報酬を書いてエージェントを観察しない。報酬ハッキングは例外ではなくデフォルトの結果です。方策の動画や書き起こしを早い段階から頻繁に記録してください。
- 言語モデルの事後学習でKL項を忘れる、あるいは何も変わらないほど高く設定する。スイープしてください。
- 単一のエキスパート方策から得たデータでオフラインRLを実行し、行動クローニングを上回る改善を期待する。
- 観測と報酬の正規化を省く。スケール1,000の生の報酬に対するPPOは学習しません。
さらに深く
- Sutton and Barto, Reinforcement Learning: An Introduction, 第2版, 2018。オンラインで無料公開。
- Schulman et al., Proximal Policy Optimization Algorithms, 2017。
- Ouyang et al., Training language models to follow instructions with human feedback, 2022。
- Rafailov et al., Direct Preference Optimization, 2023。
- Shao et al., DeepSeekMath, 2024。GRPOを導入した論文です。
- Levine et al., Offline Reinforcement Learning: Tutorial, Review, and Perspectives on Open Problems, 2020。