RLAIF (Reinforcement Learning from AI Feedback)

LLMの品質を高めるには、人間のフィードバックを使うRLHFが効果的ですが、人手による評価にはコストと時間がかかります。RLAIFは、人間の代わりにAI自身が回答を評価し、その結果を使って強化学習でモデルを改善する手法です。

RLHFのボトルネックを解消する

RLHFでは「どちらの回答が良いか」を人間が比較評価し、そのデータで報酬モデルを訓練します。しかし、高品質な評価データを大量に集めるには、専門知識を持つ評価者を確保し、一貫した基準で判断してもらう必要があります。このプロセスは1件あたり数分かかることもあり、数万件規模のデータを作るには膨大なコストが発生します。RLAIFは、この評価プロセスをAIに任せることで、スケーラビリティの問題を解決します。

どのように機能するか

RLAIFの基本的な流れはRLHFとほぼ同じです。違いは「誰が評価するか」だけです。モデルが生成した複数の回答候補に対して、別のLLM（または同じLLMの別インスタンス）が「どちらがより良いか」を判断します。この判断には、プロンプトで評価基準（正確性、有用性、安全性など）を明示的に指示します。得られた好みデータで報酬モデルを訓練し、あとはRLHFと同様にPPOやDPOで最適化します。

Googleの研究が示した有効性

RLAIFが注目を集めたきっかけは、2023年にGoogleが発表した研究です。この研究では、PaLM 2を評価者として使ったRLAIFが、人間の評価者を使ったRLHFと同等かそれ以上の性能を達成したことが示されました。特に、要約タスクや有害性の低減において顕著な効果が確認されています。AnthropicのConstitutional AI（CAI）も、AIによる自己評価を活用するという点でRLAIFの一形態と見なせます。

メリットと限界

RLAIFの最大のメリットはスケーラビリティとコスト削減です。人手では数週間かかる評価データの作成を、数時間で完了できます。また、評価基準の一貫性が高く、人間の評価者間で生じるブレ（アノテーター間不一致）を抑えられます。

一方で、AI評価者自身のバイアスが好みデータに反映されるリスクがあります。AIが「良い」と判断する回答が、必ずしも人間にとって最善とは限りません。そのため、現在の実践ではRLHFとRLAIFを組み合わせるハイブリッドアプローチが主流になりつつあります。重要な判断は人間が行い、大量のルーティン的な評価はAIに任せるという使い分けです。

今後の展望

最新のLLMの多くは、RLAIFまたはそのバリエーションを訓練パイプラインに組み込んでいます。モデルが大きくなるほどAI評価者としての精度も上がるため、RLAIFの有効性はモデルの進化とともに向上しています。人間のフィードバックが不要になるわけではありませんが、AIの自己改善サイクルを回す基盤技術として、RLAIFの重要性は今後さらに高まるでしょう。