AIエージェントを開発する際、「動いているように見える」ことと「期待通りに動く」ことの間には差があります。この記事では、公開前にその差を埋めるためのeval（評価）設計について整理します。

AIエージェント開発

AIをどう業務に組み込むか、一緒に考えませんか。

まず、話だけ聞いてみる →

「動いているように見える」が信用できない理由

いくつかの入力を試して問題なく応答が返ってくると、つい完成したと感じてしまいます。しかし、想定していなかった言い回しや、少し外れた質問に対して、同じエージェントが不自然な応答を返すことは珍しくありません。試した範囲でしか、動作は保証されていません。

evalとは何か

evalは、代表的な入力パターンと、それに対する期待される振る舞いをセットにしたテストケース集です。エージェントに変更を加えるたびに、このテストケース集に対して実行し、期待通りに動いているかを確認します。

自社の場合に当てはめて整理したい方は、AIエージェント開発について相談する →

どこからテストケースを集めるか

  • 実際に想定される、よくある問い合わせパターン
  • 過去に失敗した、または不自然な応答を返したケース
  • 意図的に紛らわしい言い回しをした、境界的なケース

完璧な網羅を最初から目指す必要はありません。実際の失敗から学び、ケースを追加していく運用が現実的です。

evalだけでは防げないもの

evalは、想定した範囲の入力に対する品質を確認する仕組みです。本番公開後に、想定していなかった使われ方や、徐々に劣化していく挙動を捉えるには、別途の観測が必要です。この部分はAIエージェントの「オブザーバビリティ」とは何かで詳しく整理しています。また、エージェントに絶対にさせたくない行動を防ぐ設計はAIエージェントの「ガードレール」とは何かを参考にしてください。

よくある質問

Q. evalは、一度作ったら使い続けられますか？

A. エージェントの振る舞いを変えるたびに、evalも見直す必要があります。新しい失敗パターンが見つかったら、そのケースをevalに追加していく運用が基本です。

Q. どのくらいの数のテストケースを用意すればいいですか？

A. 最初は10〜20件程度の、よくある入力パターンと、過去に失敗した代表的なケースから始めるのが実用的です。網羅性よりも、実際の失敗を捉えられているかを重視します。

Q. 人がすべて確認する方が、確実ではないですか？

A. 初期段階ではそれも有効ですが、エージェントを継続的に改善していく上では、変更のたびに人力で全件確認するのは現実的ではありません。evalを整えることで、変更の影響を素早く確認できるようになります。

Q. evalと、本番運用後のモニタリングは何が違いますか？

A. evalは公開前に、想定される入力に対して正しく振る舞うかを確認する仕組みです。モニタリングは、公開後に実際のやり取りで想定外の挙動が起きていないかを継続的に見る仕組みです。両方が必要です。

発信：株式会社オルアナ（新規事業開発・システム開発・AIエージェント開発・バックオフィス業務支援）