OpenAIガイド・活用法公式ドキュメント
OpenAI API、Prompt caching最適化ガイド更新
同じ指示を繰り返すAPI利用で、応答を速くし料金も抑えやすくなります。
ポイント
- 1先頭の一致(prefix一致)がキャッシュの鍵
- 21024トークン以上で自動的に有効化
- 3固定文を前、可変情報を後ろに配置
OpenAIはPrompt caching(同じ前半プロンプトを再利用して高速化)の仕組みと最適化方法をガイドで整理しています。固定の指示文を先頭に置き、変わる情報を後ろに寄せると効果が出やすいです。遅延とコストを下げたいアプリで、プロンプト設計の見直しがすぐ効きます。