OpenAI00:00ポリシー公式ブログ
OpenAIが命令優先度の学習手法を公開
プロンプト注入に強い設計を学べるので、社内ボットやエージェントの安全対策を組み立てやすくなります。
ポイント
- 1命令の優先順位を崩しにくくする研究
- 2IH-Challengeという学習用データセット
- 3プロンプト注入への耐性向上に焦点
OpenAIは、システム指示→開発者指示→ユーザー指示の優先順位を守りやすくする研究を公開しました。新しい学習用データセット「IH-Challenge」で、プロンプト注入(指示の乗っ取り)への強さも測ります。安全ルールを破りにくいモデルに近づき、業務利用の安心感が上がります。