音声AIエージェントの仕組み。会話しながら業務を処理するには
AIの窓口に予約の変更を頼んだ後、返事を長く待ったことはありませんか?会話と作業を分けると、処理を待つ間も進捗を伝えられます。
音声AIエージェントは、人と音声で会話しながら、予約の確認や変更などの実務を処理するAIです。会話を担当する音声モデルと、作業を担当するバックエンドを分ける構成があります。dagloがOpenAIの公式ドキュメントをもとに、この仕組みを解説します。
会話を担当する役割と、実務を担当する役割を分ける

音声AIエージェントは会話を続けながら、時間がかかる作業を別のシステムに任せ、結果を音声で伝えます。このように作業を任せることを委任(delegation)と呼びます。
OpenAIのGPT-Liveドキュメントでは、音声モデルが対話を担当し、別のシステムが判断やツールの操作を担当する構成を説明しています。
| 役割 | 担当すること | 例 |
|---|---|---|
| 音声モデル | 聞き取り、応答、聞き返し、進捗の案内 | 受付番号を尋ね、確認中であることを伝える |
| バックエンド | 照会、変更、計算などの実務 | 予約システムでフライトを照会し、変更する |
| サービスのアプリ | 権限の確認、必要な承認、処理履歴の管理 | 本人確認を終えてから変更を許可する |
その場で答えるか、聞き返すか、作業を委ねるか

音声エージェントが依頼を受けたときの対応は大きく3つあります。手元の情報で答えられるなら直接回答し、発言が曖昧なら聞き返します。照会や変更が必要なら、バックエンドに作業を委ねます。
- 直接回答する:会話の文脈や、すでに受け取った結果から答えられる質問。
- 聞き返す:周囲の音で聞き取れなかった場合や、「それを変更して」のように対象が分からない場合。
- 作業を委ねる:「金曜日に変更して。ただし手数料がかかるなら土曜日にして」のように、条件を確認したうえで実際の変更が必要な場合。
処理中に伝える情報。結果、参考情報、行動の指針

バックエンドが音声モデルに渡す情報は、用途によって3つに分けられます。音声で伝える結果、発話せずに参照する背景情報、そして以降の対応を変える指針です。
- 伝える結果:予約の変更が完了したという、確認済みの事実。
- 参考情報:予約を照会中であるという進捗状況。
- 行動の指針:手数料を確認してから変更を案内する、というルール。
処理の完了と、利用者に結果が伝わったかどうかは別々に確認します。作業が終わったか、どの内容を実際に伝えたかの両方を確かめます。
依頼の変更に対応できる音声エージェントの条件

音声エージェントでは、返答の速さ以上に、依頼の変更を取りこぼさないことが重要です。利用者が到着空港を訂正したら照会条件も変え、配送を断ったら配送の申し込みは進めません。
- 複数の作業を同時に委ねると、結果が依頼順に戻るとは限りません。それぞれの結果に対応する依頼を記録し、照合します。
- 音声モデルの発話が止まっても、バックエンドの処理が止まったとは限りません。遅れて届いた結果が最新の依頼に合うかを確認します。
- 評価では、委ねる作業を適切に選んだか、処理が正確だったか、利用者に結果が正しく伝わったかを分けて確認します。
会話の後に残すべきものは、正確な記録
音声エージェントとの通話でも、人同士の会議でも、発言は会話が終われば消えてしまいます。条件が変わり、数値が飛び交う会話ほど、文字起こしがあれば後から決定事項を確認できます。
dagloは、会議や通話の文字起こしと要約を作り、両方を保存します。ボードチャットには、「お客様が変更した条件だけまとめて」のように、記録に基づいて追加で質問できます。ボイスマッチは、出席者の声を記憶し、次回の録音から「参加者1」などの代わりに実際の名前を自動で表示する機能です。ボイスマッチの詳細を見る(英語)
音声認識の精度を高める方法については、リアルタイム文字起こしと通訳の構成を比較した記事(英語)もご覧ください。
#音声AIエージェント #音声エージェント #AIエージェント #GPTLive #業務の委任 #ボイスマッチ #daglo
会話を、次の仕事へ
今すぐ無料で始めてみてください