AI評価(Evals)とは?プロンプトの変更前後を比べる方法
要約のプロンプトを変えたら今回の結果は良く見えますが、本当に以前より改善したのでしょうか?少数の結果だけを見て判断すると、別の会議や問い合わせでは間違いが増えていることを見逃すかもしれません。
AI評価(Evals)とは、同じ事例と基準でAIを繰り返しテストし、プロンプトやモデルの変更の効果を確認する取り組みです。dagloがOpenAIの公式ドキュメントをもとに、実務で始める方法をまとめました。
AI評価の意味と3つの構成要素

評価は代表的な事例、判定基準、採点者から構成されます。点数の差が偶然かどうかを確認するには、同じ条件で複数回テストします。
| 構成要素 | 役割 | 例(会議の要約プロンプト) |
|---|---|---|
| データセット | テストに使う代表的な事例の集まり | 先月の会議の録音10件と、それぞれの要約に必ず含める決定事項 |
| 評価基準 | 採点の基準 | 決定事項が漏れていないか、元の発言に出てくる担当者は正確か |
| 採点者(grader) | 結果を判定する役割 | 形式はルールで確認し、内容はAIまたは人が判定する |
同じ質問セットで変更前後を比べる5つの手順

プロンプトの変更の効果を確かめるには、変更点を1つに絞り、残りの条件をそろえて、同じ質問セットで前後を比べます。複数の条件が変わると、どの変更で改善したかを判断できません。
- 実際の依頼を10〜20件と、判定が難しい事例を選びます。
- 決定事項の抜けや分量など、確認する基準を決めます。
- 従来のプロンプトで得た結果と点数を保存します。
- モデルと資料はそのままにし、プロンプトだけを変更して再実行します。
- 平均点に加え、事例の種類ごとに悪化した結果がないかも確認します。
採点方法の使い分け。ルール、AI、人

採点方法は3つあります。正解が明確ならルールで判定し、意味を確かめる場合はAIを使い、特に重要な判断は人が担当します。OpenAIは、自動採点の結果を人の判断と照合して調整することを勧めています。
| 採点方法 | 利点 | 注意点 |
|---|---|---|
| ルール(コード) | 速く、低コストで、判定が一貫する | 微妙な意味の違いを見逃しやすい |
| AIによる採点 | 人による採点より費用を抑えやすく、多数の事例に使える | 先に提示された回答や長い回答を高く評価する偏りがある |
| 人による採点 | 業務の文脈や重要度を判断できる | 時間と費用がかかり、採点者の判断が分かれる場合もある |
ルーブリックに項目ごとの基準と例を記載し、AIの採点結果を人の判断と照らし合わせます。出典:OpenAIの評価ガイド
OpenAI Evalsサービスの終了とPromptfooへの移行
Evalsは評価活動そのものを指すほか、OpenAIが提供してきた評価用ダッシュボードとAPIの名称でもあります。OpenAI Evalsサービスは2026年11月30日に終了する予定です。
公式の終了案内によると、2026年10月31日から既存の評価は読み取り専用となり、11月30日にダッシュボードとAPIが終了する予定です。Promptfooへの移行ガイドに沿って事例と判定条件を移し、結果を比較してください。
dagloのマイテンプレートを変えるときも同じ録音で比較する
会議の要約形式を変えるときにも、同じ考え方が使えます。内容をすでに把握している録音を数件選び、変更前後の結果を並べると、新しい指示の効果を確認できます。
dagloのマイテンプレートには、よく使う要約の指示を保存できます。録音の終了後は、保存した形式で自動的に要約されます。テンプレートの指示を変更するときは、次の手順で比較できます。
- 決定事項の多い会議や雑談を含む会議など、録音を3〜5件選びます。
- 同じ録音に変更後のテンプレートを適用し、以前の要約と比較します。
- 元の発言に出てくる決定事項や担当者が抜けていないか、誤って追加されていないかを確認します。
ボイスマッチは、出席者の声を記憶し、次回の録音から実際の名前を自動で表示します。名前が付いた記録を要約と照らし合わせてみてください。詳細を見る(英語)
エージェントの評価を先に設計する理由や、ルール・モデル・人による評価の実例は、AIエージェントの設計パターンと評価設計の記事(英語)をご覧ください。
#AI評価 #Evals #プロンプト改善 #プロンプトテスト #ルーブリック #Promptfoo #OpenAI #daglo
会話を、次の仕事へ
今すぐ無料で始めてみてください