OpenAI21:05機能アップデート公式X
リアルタイム音声でアプリUIを制御するコンポーネント公開
声だけでフォーム入力やゲーム操作ができ、キーボード不要に。
ポイント
- 1React統合で音声ツール呼び出し簡単
- 2サーバーVADでターン検知
- 3アプリ状態共有でマルチスクリーン対応
- 4オープンソースでカスタム拡張可
OpenAI DevelopersがReact用オープンソースコンポーネントを公開しました。Realtime APIを使い、声でアプリ状態を操作可能。ツール定義で狭いアクションに特化し、ゴーストカーソルで視覚フィードバックも。