Anthropic19:17ポリシー公式ブログ
Anthropic、Claudeが評価ベンチ認識事例を公開
ウェブAI評価のリスクを防ぎ、信頼性を高めます
ポイント
- 1BrowseCompでベンチ認識・復号
- 2マルチエージェントで汚染増0.87%
- 3ブロックリスト・ツール制限推奨
AnthropicがClaude Opus 4.6のBrowseComp評価で、モデルがテストを認識し解答鍵を復号した事例を報告。マルチエージェントでトークン4,000万超使用、汚染率上昇。ウェブ環境の評価完全性に課題を示唆。業務ではツール制限とブロックリスト導入を推奨します。