OpenAIガイド・活用法公式ドキュメント
OpenAIがPrompt Cachingの使い方を公式ガイド化
同じ指示を繰り返すAPI利用で、応答を速くしてコストも抑えやすくなります。
ポイント
- 1先頭一致(prefix一致)でキャッシュが効く
- 2固定文は先頭、可変入力は末尾に置く
- 3長いプロンプトほど効果が出やすい
OpenAIがAPIのPrompt Caching(よく使う指示文を再利用して高速化)を解説しています。長いプロンプトの先頭が同じだとキャッシュが効き、遅延や入力コストを下げられると説明しています。固定の指示や例を先頭、変動する入力を末尾に置く構成が推奨です。