AIエージェントの実行状況を見える化する設計
参照したAIgram
目次
概要
AIエージェントを業務に入れるときに「動かしてはみたものの、いま何が起きているのか分からない」と感じる方は多いと思います。事例を見ると、うまく運用されている仕組みには共通して、処理過程・状態・履歴・コストを人が確認できる作りが最初から組み込まれています。
東芝のMVPは、簡単な操作で利用できること、思考プロセスを可視化できること、ノウハウを追加実装できる拡張性を担保することを要件に置き、AIエージェント間の対話を可視化しました 東芝、Azure OpenAIでSMT原因究明を数分に短縮。Kachiluは、実行予定・実行中・人の確認が必要な操作・完了した履歴をダッシュボードで管理し、実行中のタスクを一時停止、再開、スキップできるようにしています KachiluがSNS商談・採用業務を自動化。IBMはIBM Bobに、AIの利用状況の把握やリソース配分、運用状況を監視する分析機能「Bobalytics」を追加しました IBM Bobでレガシー刷新、9カ月作業を3日に。あわせてIBMは、作業の進め方によってAIの成果物の品質がバラつきやすいと説明し、構造化された再現性の高いワークフローでこれを抑えられるとしています。
見える化は、後から足す監視機能ではなく、処理過程・状態・履歴・利用量を扱う設計そのものです。
エージェントの処理過程を画面に出す
まず、AIが何を考えて結論を出したのかを人が追える状態にすることです。
東芝グループは、2024年10月に提供を開始した「Meister Apps 工程改善アシストパッケージ for SMTライン」で、Azure OpenAIをベースとした複数のAIエージェントが連携し、問題発生時の原因究明と改善提案を行うシステムを実現しました 。ここでの要件のひとつが、思考プロセスを可視化できることでした。エージェント間の対話を可視化したことで、若手技術者が熟練者の思考を学ぶ機会としての活用も期待されています。処理過程を出すことは、結果の確認だけでなく、現場の学習材料にもなるという読み方ができます。
Kachiluでは、AIがブラウザ上で行っている操作を利用者が確認できます 。すべての操作をブラックボックスの中で自動実行するのではなく、担当者が内容を確認し、必要に応じて介入できる仕組みを採用しています。
処理過程を画面に出すことは、AIの動きを止めずに人が確認できる状態をつくることです。
状態は停止と再開ができる形で保持する
処理過程が見えても、途中で止められなければ確認する意味が薄くなります。そこで必要になるのが、状態の持ち方です。
Kachiluの実行中タスクは、一時停止、再開、スキップができ、状況に応じて追加の指示を送ることもできます 。とくに分かりやすいのが、ログイン、本人確認、追加認証、CAPTCHAなどが必要な場合の扱いです。この場合は処理を一時停止して人が操作を引き継ぎ、その後同じ手順から再開できます。人が割り込むことを前提に状態を持っているため、最初からやり直す必要がありません。
ダッシュボードでは、次の4つを区別して管理しています。
- 実行予定のタスク
- AIが実行中のタスク
- 人による確認が必要な操作
- 完了したアプローチの履歴
「誰に、どのようなアプローチを行ったのか」「どこまで進んでいるのか」「どの操作で対応が必要なのか」を可視化することで、属人化しやすい営業・採用のアウトリーチ業務を整理しています。
実行環境を運用単位ごとに分離する
複数の案件や部門でエージェントを動かすと、状態や履歴が混ざります。事例では、扱う単位ごとに実行環境を分ける設計が取られています。
- Kachiluのワークスペースは、SNSアカウントのログイン状態やCookie、実行タスク、履歴を独立して管理する運用単位です。ブランド、顧客、営業・採用施策など、運用環境を分けたい単位ごとに作成して利用します
- IBM Bobは、サブエージェントが独立したコンテキスト内で複雑な処理を実行する機能を追加しました
- EFSGは、Dynamics 365の「連絡先所有者」フィールドを活用してエンティティ間で顧客データを分離し、大規模なカスタマイズを行うことなく市場ごとにワークフローを管理しています EFSG、Copilot Studioで顧客応対を自動化
分ける単位は、SNSアカウント、処理コンテキスト、市場と事例ごとに異なりますが、いずれも「混ざると困るもの」を境界にしている点は共通しています。
実行履歴を残して次の施策に使う
状態が現在地を示すのに対して、履歴は過去の記録です。事例では、履歴が確認用の記録にとどまらず、次の判断材料として使われています。
Kachiluは、SNSやフォームでの送信状況や対応状況を実行履歴として残し、ターゲットやメッセージの見直しに活用できるようにしています 。同社が搭載した運用ノウハウにも、実行結果をどのように記録し、次の施策に生かすのかという項目が含まれています。記録は運用の一部として設計されている、という位置づけです。
EFSGでは、電話通話中のAI搭載音声認識機能により会話を自動で文字起こしします 。担当者はメモを取る時間を節約でき、やり取りを正確に記録できるため、今後のフォローアップや監査の際に参照できます。またチャットボットは、請求に関する問い合わせなどで過去のやり取りの概要を自動的に生成し、顧客サービス担当者が案件記録をリアルタイムで更新できるようにします EFSGのCopilot Studio顧客対応統合。
履歴は、残すだけでなく、見直しと引き継ぎに使える形にしておくことが前提になります。
記録を監視と介入判断につなげる
記録があると、次は「どこに人が入るか」を選べるようになります。EFSGの事例が分かりやすいです
。
- サポートマネージャーは顧客とのやり取りをリアルタイムで監視し、傾向や改善点を特定できます
- 感情分析を使い、管理者がどこに優先して介入するかの判断を支えています
- Power Automateでワークフローを自動化し、パフォーマンス監視のための分析とレポートにはPower BIダッシュボードを活用しています
- Copilot Studioにより、顧客サービスマネージャーはチャットボットのフローに関するフィードバックを確認し、必要な調整を行えます
監視して終わりではなく、確認した内容をフローの調整へ戻す経路まで用意されている点が、この事例の特徴です。
利用量とコストの測定機能を組み込む
見える化の対象は、処理内容だけではありません。どれだけ使い、どれだけかかるのかも管理の対象です。
IBM Bobは、AIの利用状況の把握やリソース配分、運用状況を監視する分析機能「Bobalytics」を備えています IBM Bobでレガシー刷新、作業を9カ月から3日へ。利用者の裁量に任せるのではなく、機能として組み込まれている点が参考になります。
Kachiluでは、料金プランがワークスペース数と月間アクション数で分かれています 。アクション数とは、DM送信、DM返信、いいね、リプライ、投稿など、Kachiluが実行する操作の回数です。使った量が操作の回数として数えられるため、利用者は何にどれだけ消費したかを把握できます。なお、ワークフローの実行にはKachiluのデスクトップアプリとOpenAI Codexアカウントが必要で、利用可能量や処理速度はOpenAI側のプラン制限に準じます。自社側の管理だけでなく、基盤側の制限も運用条件に入るということです。
手順を固定して出力のばらつきを抑える
見える化を進めると、出力の質が回によって違うことにも気づきます。IBMは、作業の進め方によってAIの成果物の品質がバラつきやすく、複数の工程にまたがるプロジェクトでは課題になりやすいと説明しています 。そのうえで、構造化された再現性の高いワークフローを使うことでこのバラつきを抑えられるとしています。
IBM Bobには、レガシーシステムを抱える企業が自社環境に合わせてカスタマイズ、拡張できる事前構築済みのワークフローが3つ追加されました。IBM Z向けのCOBOLやPL/Iのモダナイゼーションとジョブ制御言語の分析、IBM i向けのリモートファイルシステム統合と専用モード、そしてJava 25への移行や大規模リファクタリング、依存関係の分析です。クラウドソリューションやコンサルティングを手掛けるBlue Pearlが導入したケースでは、14人のエンジニアで9カ月かかると見込んでいた作業が、3日で完了しました
。
毎回違う進め方をすると、出力の差が手順のせいなのかAIのせいなのか切り分けられません。手順の固定は、見える化の前提でもあります。
人が確認する範囲を事前に決める
最後に、人がどこに入るかです。見える化した情報も、確認する担当と範囲が決まっていなければ使われません。
Kachiluは、営業や採用に関するすべての判断をAIに任せるサービスではありません 。定型的な操作や繰り返し作業はAIが担当し、相手との関係性や企業の信用に関わる重要な判断は、人が確認したうえで実行します。同社の運用ノウハウにも、どこまでAIに任せ、どこで人が確認するのかという項目が含まれています。
EFSGは、Copilot Studioを活用して定型業務を自動化し、スタッフがより複雑な顧客のニーズに集中できるようにすることを目指しました 。任せる範囲と人が持つ範囲を先に決めておくことで、見える化した情報が確認作業として機能します。
結論
4つの事例は、業界も規模も違いますが、実行状況の扱い方には重なる部分があります。
- 東芝のMVPは思考プロセスの可視化を要件に置き、エージェント間の対話を可視化したうえで、従来は数時間を要する場合があった作業で数分以内の具体的な対処案提示を確認しました
- Kachiluは、状態（実行予定・実行中・要確認・完了）、実行履歴、ワークスペースによる分離、アクション数に基づく料金体系を、一つのプラットフォームで扱っています
- IBM Bobは、マルチエージェント機能と並行して、利用状況とコストを可視化するBobalyticsを同時に追加しました
- EFSGは、自動文字起こしによる記録、サポートマネージャーによるリアルタイム監視、Power BIによるレポートを組み合わせて顧客対応を管理しています
処理過程を画面に出す、状態を停止と再開ができる形で持つ、実行環境を運用単位で分ける、履歴を残して次の施策に使う、利用量とコストを測る、手順を固定する、人の確認範囲を決める。特別な発想は必要なく、この7点を自社の業務に当てはめて一つずつ決めていくことが、AIエージェント運用の設計になります。