音声AIエージェントの仕組み。会話しながら業務を処理するには

dagloチーム · 2026年11月4日

音声AIエージェントの仕組み。会話しながら業務を処理するには

AIの窓口に予約の変更を頼んだ後、返事を長く待ったことはありませんか?会話と作業を分けると、処理を待つ間も進捗を伝えられます。

音声AIエージェントは、人と音声で会話しながら、予約の確認や変更などの実務を処理するAIです。会話を担当する音声モデルと、作業を担当するバックエンドを分ける構成があります。dagloがOpenAIの公式ドキュメントをもとに、この仕組みを解説します。

会話を担当する役割と、実務を担当する役割を分ける

携帯電話で話す眼鏡をかけた女性

音声AIエージェントは会話を続けながら、時間がかかる作業を別のシステムに任せ、結果を音声で伝えます。このように作業を任せることを委任(delegation)と呼びます。

OpenAIのGPT-Liveドキュメントでは、音声モデルが対話を担当し、別のシステムが判断やツールの操作を担当する構成を説明しています。

役割担当すること例
音声モデル聞き取り、応答、聞き返し、進捗の案内受付番号を尋ね、確認中であることを伝える
バックエンド照会、変更、計算などの実務予約システムでフライトを照会し、変更する
サービスのアプリ権限の確認、必要な承認、処理履歴の管理本人確認を終えてから変更を許可する

その場で答えるか、聞き返すか、作業を委ねるか

ノートパソコンの前で電話をする男性

音声エージェントが依頼を受けたときの対応は大きく3つあります。手元の情報で答えられるなら直接回答し、発言が曖昧なら聞き返します。照会や変更が必要なら、バックエンドに作業を委ねます。

  1. 直接回答する:会話の文脈や、すでに受け取った結果から答えられる質問。
  2. 聞き返す:周囲の音で聞き取れなかった場合や、「それを変更して」のように対象が分からない場合。
  3. 作業を委ねる:「金曜日に変更して。ただし手数料がかかるなら土曜日にして」のように、条件を確認したうえで実際の変更が必要な場合。

処理中に伝える情報。結果、参考情報、行動の指針

人が行き交う混雑した空港ターミナル

バックエンドが音声モデルに渡す情報は、用途によって3つに分けられます。音声で伝える結果、発話せずに参照する背景情報、そして以降の対応を変える指針です。

  • 伝える結果:予約の変更が完了したという、確認済みの事実。
  • 参考情報:予約を照会中であるという進捗状況。
  • 行動の指針:手数料を確認してから変更を案内する、というルール。

処理の完了と、利用者に結果が伝わったかどうかは別々に確認します。作業が終わったか、どの内容を実際に伝えたかの両方を確かめます。

依頼の変更に対応できる音声エージェントの条件

フライトの時刻が表示された空港の出発案内板

音声エージェントでは、返答の速さ以上に、依頼の変更を取りこぼさないことが重要です。利用者が到着空港を訂正したら照会条件も変え、配送を断ったら配送の申し込みは進めません。

  • 複数の作業を同時に委ねると、結果が依頼順に戻るとは限りません。それぞれの結果に対応する依頼を記録し、照合します。
  • 音声モデルの発話が止まっても、バックエンドの処理が止まったとは限りません。遅れて届いた結果が最新の依頼に合うかを確認します。
  • 評価では、委ねる作業を適切に選んだか、処理が正確だったか、利用者に結果が正しく伝わったかを分けて確認します。

会話の後に残すべきものは、正確な記録

音声エージェントとの通話でも、人同士の会議でも、発言は会話が終われば消えてしまいます。条件が変わり、数値が飛び交う会話ほど、文字起こしがあれば後から決定事項を確認できます。

dagloは、会議や通話の文字起こしと要約を作り、両方を保存します。ボードチャットには、「お客様が変更した条件だけまとめて」のように、記録に基づいて追加で質問できます。ボイスマッチは、出席者の声を記憶し、次回の録音から「参加者1」などの代わりに実際の名前を自動で表示する機能です。ボイスマッチの詳細を見る(英語)

音声認識の精度を高める方法については、リアルタイム文字起こしと通訳の構成を比較した記事(英語)もご覧ください。

#音声AIエージェント #音声エージェント #AIエージェント #GPTLive #業務の委任 #ボイスマッチ #daglo

通話や会議の記録を無料で始める

← ブログに戻る

会話を、次の仕事へ

今すぐ無料で始めてみてください