Automated Evaluation
自動評価
じどうひょうか
Definition
Automated evaluation is a method that measures output quality mechanically using rules or other models to speed up iteration cycles. It scales well but must be checked against human judgment to avoid drift.
モデルを改良するたびに数百件の出力を人に読んでもらうのは、現実的ではありません。開発のスピードに評価が追いつかなくなるからです。自動評価（Automated Evaluation）とは、ルールベースまたはモデルベースの手法で、AIの出力品質をプログラム的にスコアリングする評価手法です。
ルールベースの自動評価
最もシンプルな自動評価は、明確なルールに基づく判定です。たとえば、コード生成であればテストケースの通過率、翻訳であればBLEUスコア（参照訳との一致度）、要約であればROUGEスコア（参照要約との重複率）といった指標が長年使われてきました。これらは計算が高速で再現性が高いという利点がありますが、「正解が一つに定まらない」タスクでは限界があります。自然な会話の良し悪しや、創造的な文章の質は、単純な文字列比較では測れません。
LLM-as-Judge
近年急速に普及しているのが、LLM自体を評価者として使う「LLM-as-Judge」というアプローチです。GPT-4やClaude 3.5などの高性能モデルに、評価基準（ルーブリック）を与えて別のモデルの出力を採点させます。MT-BenchやAlpacaEvalなどの有名なベンチマークでもこの方式が採用されています。
LLM-as-Judgeの利点は、人手評価に近い柔軟な判断が可能でありながら、数千件の出力を数分で評価できるスピードです。プロンプトの変更やモデルの更新のたびに素早くフィードバックを得られるため、開発の反復速度が大幅に向上します。
キャリブレーションの必要性
自動評価を信頼するためには、人手評価との相関を検証するキャリブレーションが不可欠です。LLM-as-Judgeには、長い回答を高く評価しがち（冗長性バイアス）、最初に提示された回答を好みがち（位置バイアス）、自分と同じモデルの出力を優遇しがち（自己バイアス）といった既知の偏りがあります。
これらの偏りを補正するため、評価対象の順序をランダム化する、複数の評価モデルを使って結果を比較する、定期的に人手評価と照合してスコアのずれを確認するといった対策が取られます。
実務での使い分け
現在のベストプラクティスは、日常の開発サイクルでは自動評価を使い、重要なリリース判断には人手評価を併用するという二段構えです。自動評価は「明らかな品質低下を素早く検出する」ことに優れており、人手評価は「微妙な品質差を正確に判定する」ことに優れています。両者を組み合わせることで、開発速度と評価精度の両立が可能になります。