GPT-Liveリアルタイム音声、AI開発チームの運用設計

OpenAI は 2026年8月3日、GPT-Live を支えるリアルタイム音声システムをどのように構築したかを Engineering 記事で公開した。焦点はモデル発表ではなく、低遅延の音声体験を本番規模で成立させるためのアーキテクチャである。GPT-Live は full-duplex の音声モデルとして、聞くことと話すことを同時に扱い、必要なときは GPT-5.5 のような frontier model へ推論や検索を委任する。

この技術解説は、日本のプロダクトチームにとってかなり実務的だ。音声AIは、デモでは自然に見えても、本番では遅延、割り込み、通信品質、長時間セッション、ツール呼び出し、有人引き継ぎ、監視がすぐ問題になる。OpenAI の記事は、そこを「音声が流れ続ける経路」と「業務ロジック」を分ける設計として説明している。

既存記事では、GPT-Liveの安全設計 で音声データと高リスク会話を扱い、GPT-Realtime小売Agent でヤマダデンキ事例の接客設計を整理した。今回は、そうした音声Agentを実装する側が、どこを分離し、何を監視し、どこで人間へ渡すべきかを見る。

事実: 音声のfast pathと業務ロジックを分けた

OpenAI の説明で最も重要なのは、media flow と application / business logic の分離である。音声は、client と voice model の間を専用の速い経路で流れる。tool use、frontier model への委任、会話の永続化、その他のアプリケーション処理は、非同期の RPC 境界の向こう側で動く。つまり、遅いツール呼び出しやバックエンド処理が、音声そのものの流れを止めないようにしている。

OpenAI は、media frontend と inference logic を Go で書き直し、以前の Python asyncio 実装から置き換えたとも説明している。結果として、frame delivery の滑らかさが改善し、新システムの p95 が旧システムの p50 に相当する水準になったとされる。transport には WebRTC が使われ、packet loss、clock drift、接続変更のような現実のネットワーク条件へ対応する。

もう一つの軸は stateful inference である。音声セッションは長く続き、コンテキストは増え続ける。モデルインスタンスの入れ替えや context compaction が必要になっても、音声を止めずに進めるため、OpenAI は新しい model instance を温め、現在の session context を prefill し、並行して推論し、準備できたところで切り替える仕組みを説明している。

さらに、GPT-Live は深い推論や検索を別モデルへ委任する。voice model は会話を保ち、frontier model が裏側で検索、推論、tool call を進める。この設計は、ChatGPT VoiceのWork/Codex展開 で扱った「音声で長い作業を steer する」体験ともつながる。

分析: 音声AIの勝負はモデル単体ではない

ここからは分析である。

日本企業がこの発表から学ぶべきことは、「GPT-Live が速い」ではない。音声AIの本番品質は、モデルだけでは決まらないという点だ。遅延の多くは、モデル推論以外の場所で起きる。ネットワーク、音声フレームの処理、セッション開始、ツール呼び出し、RAG、CRM照会、ログ保存、監視、エスカレーションで詰まる。

特に顧客対応や店頭接客では、少しの沈黙が体験を壊す。テキストチャットなら数秒待てるが、音声では相手が話し終わったのか、AIが考えているのか、通信が切れたのか分からない。OpenAI が media path を小さく保ち、重い処理を非同期側へ逃がしたのは、音声の体験が遅延に極端に弱いからだ。

ただし、非同期委任には別のリスクもある。ユーザーには一つの会話に見えても、裏側では voice model、frontier model、tool、検索、会話履歴、アプリケーションサーバーが関わる。顧客情報や社内情報を扱う場合、どの情報がどの経路を通り、どこにログが残るかを説明できなければならない。OpenAI音声SynthID で扱った来歴管理と同じく、音声AIは体験が自然になるほど、裏側の説明責任が重くなる。

日本の開発チームが見るべき設計論点

第一に、音声の即時応答経路と業務処理を分ける。予約確認、注文変更、本人確認、在庫照会、決済、FAQ検索をすべて同期処理にすると、音声が止まりやすい。会話を保つ経路、結果を待つ経路、人間へ渡す経路を分けるべきだ。

第二に、セッション状態を設計する。長い通話では、ユーザーの条件、過去の確認、未解決の依頼、エスカレーション条件が増える。context compaction や session handoff が必要になるなら、重要な状態をモデル文脈だけに閉じ込めず、アプリケーション側の構造化状態として持つ必要がある。

第三に、監視指標を音声用に作る。平均応答時間だけでは足りない。開始までの時間、音声フレーム遅延、tool call 待ち、無音時間、割り込み失敗、聞き返し回数、有人引き継ぎ率、切断率、ユーザーが話しかけ直した回数を分けて見る。OpenAI が shadow testing で実トラフィックを段階的に流したように、実ネットワークで測る必要がある。

第四に、費用を会話単位で見る。音声AIはテキストより利用時間が伸びやすい。GPT-Realtime のような API 事例では、音声入出力、tool call、RAG、録音保存、文字起こし、分析が積み上がる。ChatGPT Work/Codex管理 と同じく、利用体験と費用統制を別々に扱うと後で困る。

第五に、有人引き継ぎを最初から作る。音声AIは、ユーザーが困っているほど会話を続けてしまう可能性がある。本人確認、契約変更、医療・金融・法務、クレーム、自己危害、未成年、怒りや混乱が強い会話は、人間へ渡す条件を明文化する。自然な音声ほど、AIが粘ることが正しいとは限らない。

90日で検証するなら

最初の30日は、公開情報だけで voice prototype を作り、会話の滑らかさではなく遅延要因を測る。WebRTC や Realtime API を使う場合でも、自社のCRMや在庫システムへ直結しない。faq search、dummy tool、有人引き継ぎボタン、ログ保存だけを置く。

次の30日は、限られた業務データで shadow mode を試す。実ユーザーには既存の対応を返しつつ、裏側で音声AIの候補応答、tool call、引き継ぎ判断を記録する。OpenAI が本番音声セッションを read-only の shadow path で検証したという説明は、日本企業にも参考になる。いきなり顧客へ出すより、現実の発話、雑音、接続、会話長を先に見る。

最後の30日は、低リスクな1ユースケースだけで限定公開する。たとえば公開FAQ、予約前相談、製品選びの前段、社内ヘルプデスクの入口である。成功指標は、自然さだけでなく、途中離脱、有人引き継ぎ、誤案内、会話時間、費用、ログレビューの負荷を含める。

GPT-Live の技術解説は、音声AIを「話せるモデル」ではなく、リアルタイム分散システムとして扱うべきだと示している。日本企業が音声Agentを作るなら、モデル選定より先に、fast path、state、delegation、監視、費用、引き継ぎを設計する必要がある。

出典

• How we built a realtime system for responsive voice AI in six months - OpenAI, 2026年8月3日
• Introducing GPT-Live - OpenAI, 2026年7月8日
• Introducing gpt-realtime and Realtime API updates for production voice agents - OpenAI