AIエージェントの設計、6つのパターンと評価方法
作ったAIエージェントが、実務でも期待どおりに動くかどうか、どう判断すればよいのでしょうか?デモが成功したあとも、実際の業務でどこに問題が起きるかを見つけるための基準が必要です。
dagloチームが2026年10月27日のOpenAI Builder Bootcamp Seoulで聞いた、エージェントの設計と評価の考え方を紹介します。
AIエージェントを作る前に決めておくこと

AIエージェントは、与えられた課題を解くために必要な行動を選び、実行する仕組みです。モデルに加え、作業の流れ、使うツール、従うべき指示を組み合わせます。
業務の流れで分かる6つの設計パターン

発表では、順次実行、振り分けと引き継ぎ、並列実行、再試行と代替手段、評価と改善の反復、サンドボックスの6つが紹介されました。チームの仕事にたとえると、それぞれの違いが分かりやすくなります。
| パターン | 業務でのたとえ | 発表で紹介された例 |
|---|---|---|
| 順次実行(Workflow chaining) | リレーのように、前の担当者の成果を次の担当者が引き継ぐ | 計画、資料調査、報告書作成の担当を順番につなぐ |
| 振り分けと引き継ぎ(Triage・Handoff) | 受付が問い合わせを担当部署に回す | 依頼に使われた言語を判定し、その言語の翻訳担当に渡す |
| 並列実行(Parallel execution) | 複数人が同時に草案を書き、責任者が1案を選ぶ | 翻訳案を同時に作り、最も適した案を選ぶ |
| 再試行と代替手段(Retry・Fallback) | 電話がつながらなければかけ直し、それでも難しければ別の担当者に連絡する | 一時的なエラーに備えて再試行の上限と待ち時間を決める |
| 評価と改善の反復(Evaluator・Optimizer) | 承認の基準を満たすまで、草案の確認と修正を繰り返す | 文章を作成するエージェントと評価するエージェントをつなぐ |
| サンドボックス(Sandbox agent) | 指定された作業室の中で作業する | 隔離された実行環境に必要なファイルだけを置いてコードを実行する |
- 評価と改善を繰り返すときは、回数と費用に上限を設けます。
- 決済などの処理では、再試行によって同じ操作が二重に実行されないように設計します。
- 引き継ぎでは、適切な担当者に渡せたかどうかも評価します。
実装前に評価を設計する理由

コーディングエージェントで実装時間が短くなるほど、作ったエージェントが狙いどおりに業務をこなせるかを確かめることが重要になります。発表では、成功条件と評価方法を実装前に決めておくことを勧めていました。
- データセット:評価に使う実際の業務例と期待する結果
- エージェントとツール:評価の対象
- 評価者:結果を判断するルール、モデル、人
- 指標:正確さ、形式への準拠、費用、処理時間などの判断基準
ルール、モデル、人による評価の使い分け
作業の性質に合った評価方法を選びます。明確な形式はルールで確認でき、意味や文体はモデルや人が判断できます。自動での判定が難しい複雑な工程には、人による評価が向いています。
| 評価者 | 向いている対象 | 例 |
|---|---|---|
| ルール(コード) | 要件が明確な形式 | JSONの構造や必須項目の有無 |
| モデル | 意味や文体など、判断を要する内容 | 翻訳が原文の意味を保っているか |
| 人 | 自動判定が難しい工程や重要なケース | アプリやブラウザーの複雑な動作、実際の通話接続 |
ルーブリックは、正確さや文体など、評価項目ごとに採点基準を示した表です。たとえば返金処理が正確か、案内文が丁寧かを別々に採点できるよう、実務の担当者と基準を決めます。最終的な回答に加えて、ツールの選び方や途中の結果も確認しましょう。
同じ質問を使ってプロンプトの変更前後を比べる方法は、AI評価(Evals)の解説で紹介しています。
録音から報告書まで、各工程の結果を確認する

会議の記録も、録音、文字起こし、要約の順で作られます。各工程の結果を元の記録と見比べると、次の工程に誤りを持ち越しにくくなります。
dagloで会議を文字起こしし、マイテンプレートに形式を保存しておくと、録音が終わるたびに自動で要約できます。決定事項をボードチャットで尋ね、文字起こしと照らし合わせれば、要約の内容を確認できます。
#AIエージェント #設計パターン #AI評価 #Evals #ルーブリック #業務自動化 #OpenAI #daglo
会話を、次の仕事へ
今すぐ無料で始めてみてください