OpenAIガイド・活用法公式ドキュメント
OpenAIがPrompt Cachingの使い方を整理
同じ指示を繰り返すAPI利用で、応答が速く安くなりやすいです。
ポイント
- 1完全一致の先頭部分がキャッシュ条件
- 2固定の指示・例はプロンプト先頭に置く
- 3自動で効くが、構造次第で効果が変わる
OpenAIがPrompt Cachingの仕組みと、効かせるためのプロンプト構造をガイドで説明しています。先頭の共通部分(固定の指示や例)を揃えるとキャッシュが当たりやすく、遅延とコストを下げられます。毎回同じ「前置き」を送るチャットボットや社内ツールほど効果が出やすいです。完全一致の接頭辞が前提なので、書式を頻繁に変える運用では効果が落ちます。