業務別に見る生成AIモデルの選定基準と比較方法
参照したAIgram
目次
概要
生成AIを業務に入れるときに「結局どのモデルを使えばいいんだろう」と迷われる方は多いと思います。事例を見ていくと、共通しているのは、一つの優れたモデルを選ぶのではなく、業務ごとに求めるものを分けて割り当てているという点です。
Googleは、AIエージェント向けにGemini 3.6 Flash（トークン使用量の削減と性能改善）、Gemini 3.5 Flash-Lite（低遅延の大量処理）、Gemini 3.5 Flash Cyber（CodeMenderでの脆弱性検出・検証・修正案作成）と、用途別に分かれたモデルを公開しました Google Gemini新3モデルでAIエージェントを強化。MFSの不動産AI査定「CAPS」は、賃料約273万件・売買約184万件の計約450万レコードを学習し、東京23区で誤差率中央値6.1%、全国で7.4%という数値と、最短1分での表示を示しています MFS「CAPS」で最短1分の不動産AI査定。NTTデータは、機密データを扱う接客AIエージェントの基盤にAzure OpenAIを採用し、Microsoft Defender for AI、Defender CSPM、Azure AI Content Safetyを組み合わせました Microsoft Defenderで守るNTTデータ接客AI。デジタル庁は、ガバメントAI源内のチャット機能で国産基盤モデル3種を既存モデルとブラインドでA/Bテストし、有用性・信頼性・経済性を検証して来年度以降の調達方針を検討するとしています デジタル庁、国産3モデルを源内で試用し調達方針を検討。
モデル選定は、精度・速度・コスト・学習データ・機密性・稼働環境という観点に分解し、業務ごとに必要な水準を決めることで進められます。そして最終的な判断は、自組織の実際の業務での比較結果に置くのが、事例から読み取れる進め方です。
用途ごとに別のモデルを割り当てる
Googleが公開した3モデルは、いずれもGeminiのFlash系列でありながら、担当する処理が分かれています
。
- Gemini 3.6 Flash: トークン使用量の削減と性能改善
- Gemini 3.5 Flash-Lite: 低遅延の大量処理
- Gemini 3.5 Flash Cyber: CodeMenderでの脆弱性検出・検証・修正案作成
同じ系列の中でこれだけ役割が分かれているということは、提供側も「すべての業務に最適な1つ」を想定していないことを示しています。利用する側も、扱う業務を並べて、それぞれに何を求めるのかを先に決める必要があります。
また、Gemini 3.5 Flash Cyberは、政府機関と信頼できる提携先へ限定試験として提供されます 。使いたいモデルが、自組織で使える提供条件にあるかどうかも、選定の前提として確認する項目です。
業務を分けずにモデルを1つ選ぶのではなく、業務ごとに求める性能を定義し、そこに合うモデルを割り当てます。
速度とコストは処理量と応答条件で決める
速度とコストは、その業務がどれだけの量を処理し、どれだけ待てるかで決まります。
Gemini 3.5 Flash-Liteは、低遅延の大量処理を担う位置づけで提供されています 。件数が多く、1件あたりの応答が速いことが求められる処理が対象です。一方でGemini 3.6 Flashは、トークン使用量の削減と性能改善が示されています。処理にかかるトークンが減れば、同じ業務量でも費用が下がります。
利用者から見た速度の水準がはっきり分かるのが、MFSのCAPSです 。マンション名と専有面積・所在階・間取りの3項目を入力すると、最短1分で無料の査定結果が表示されます。入力が3項目で完結し、結果が1分で返るという条件が、そのまま利用者が使うかどうかを左右します。
- 大量に処理し、応答を待てない業務: 低遅延で件数をさばける構成を選ぶ
- 1件ごとに考えさせる業務: トークン効率と出力品質を優先する
- 利用者が画面の前で待つ業務: 入力項目の少なさと表示までの時間を条件にする
精度は誤差の数値で測って公開する
「精度が高い」という言葉だけでは、業務の判断には使えません。CAPSは、この点を数値で示しています。
1981年6月以降に建築された新耐震基準のマンションについて、売出価格に対する誤差率中央値（MER）が東京23区で6.1%、全国で7.4%であるとしています 。重要なのは、数値と一緒に対象範囲が示されていることです。どの物件の、何に対する誤差なのかが決まっているため、利用者は自分の物件が対象に入るかを確認できます。
さらにMFSは、価格モデルおよび賃料モデルのMERを月次で公開する予定としています。全物件の価格も、月初5営業日を目処に毎月値洗いされます 。精度は一度測って終わりではなく、継続して測り直し、公開する対象として扱われています。
精度を比較するときは、数値そのものと、その数値が成り立つ対象範囲を必ずセットで確認します。
学習データの量と範囲が対応できる業務を決める
モデルが何を学習したかが、そのまま対応できる業務の範囲になります。
CAPSは、賃料約273万件・売買約184万件の計約450万レコードの募集データを学習し、47都道府県・約14.6万棟、分譲マンション全体の90%をカバーしています 。フロンティアの「ワンルーム売却 超高精度AI査定くん」は、直近5年間の実取引データ、価格推移、約200万棟規模のマンションデータをもとに売却価格の目安を算出し、サブリース契約中・空室・地方物件にも対応するとしています AI査定くんによるワンルーム売却価格診断。
どちらも不動産の価格を扱いますが、学習しているデータの種類が違います。CAPSが学習しているのは募集データであり、算出されるのは推定取引価格です。成約価格を蓄積したデータベースへのアクセスは宅地建物取引業者などに限定されているという前提が、事例の中で説明されています 。同じ用途に見えても、何のデータをもとにした出力なのかで、結果の意味が変わります。
- 対象データの種類を確認する（募集データか、実取引データか）
- 対象範囲を確認する（地域、物件条件、期間）
- 自分が扱う対象が、その範囲に含まれるかを照合する
扱うデータの機密性が基盤とガードレールを決める
顧客の機密データを扱う業務では、モデルの性能だけで選定は完結しません。
NTTデータは、顧客接点で機密データを扱う接客AIエージェントの基盤にAzure OpenAIを採用し、セキュア バイ デザインで設計・開発しました NTTデータがAzure OpenAIで接客AIを安全に開発。そのうえで、基盤の周りに複数の仕組みを組み合わせています
。
- Defender CSPM: AI関連リソースの構成管理と脆弱性検知
- Defender for AI: 間接的プロンプトインジェクション攻撃の検知、システム内部での異常な振る舞いの検知
- Azure AI Content Safety: 差別的・暴力的プロンプトや敵対的プロンプトの入力ブロック
Azure AI Content Safetyのブロックリスト機能とMicrosoft Defender 脅威インテリジェンスを組み合わせることで、新たなリスクや脅威に対応した語を追加し、ガードレールを強化できると説明されています 。脅威を自社で追跡し続けるのは難しいため、外部から提供される情報を使ってガードレールを更新する方法として示されています。
機密データを扱う業務では、「どのモデルか」に加えて「どの基盤の上で、どんな検知と遮断の仕組みと一緒に動かすか」までが選定の対象になります。
稼働環境と提供元の条件も選定要件に入れる
モデルそのものだけでなく、それがどこで動くかも要件になります。
デジタル庁は、国産基盤モデル3種（NTTデータのtsuzumi 2、富士通のTakane 32B、Preferred NetworksのPLaMo 2.0 Prime）を、ガバメントクラウドの「さくらのクラウド」上で稼働させ、ガバメントAI源内の中核的システムを戦略的に国産で構成しました 。本件は、政府がガバメントクラウド上で「さくらのクラウド」を実利用する第一号案件とされています。
その理由としてデジタル庁は、日本語の語彙・表現に適合し、日本の文化・価値観を尊重した国産基盤モデルの活用を、ガバメントAI源内に不可欠なものとして挙げています 。出力の性能だけでなく、どの事業者が提供し、どこのクラウドで動くかが、そのまま要件になっている例です。
モデルの選定要件には、出力の性能に加えて、稼働環境と提供元の条件を含めます。
自組織の業務で比較して調達を判断する
ここまでの観点を整理しても、最後にどれを採用するかは、実際に使ってみないと決まりません。デジタル庁の進め方が、その具体例になります
。
源内のチャット機能で、利用者にランダムに出力結果をブラインドで提示し、どちらが好みであるかを選択させるA/Bテストによって、既存の基盤モデルと国産基盤モデルを比較・検証します。本年8月までに実験環境を構築し、本年9月から11月の期間に複数回の実験を実施する計画です。ここで有用性・信頼性・経済性等を検証し、来年度以降の調達の在り方を検討するとしています。
モデル名や公表されているスペックで優劣を決めるのではなく、自分たちの実際の業務でどちらの出力が良かったかを集める方法です。しかも、どちらのモデルかを伏せた状態で選ばせています。
導入後も同じことが言えます。MFSは、MERの月次公開と全物件の毎月の値洗いによって、提供開始後も精度と価格情報を更新し続ける方針を示しています 。選んで終わりではなく、測り続ける対象として扱われています。
最終的な判断材料は、公表スペックの比較ではなく、自組織の実業務での比較結果に置きます。
結論
生成AIモデルの選び方について、事例から読み取れることを整理します。
- Googleは処理効率・速度・安全性という異なる狙いごとに別モデルを用意し、そのうちGemini 3.5 Flash Cyberは限定試験として提供している
- 精度を業務判断に使う場合、CAPSは誤差率中央値という数値と、新耐震基準・東京23区／全国という対象範囲を明示している
- 機密データを扱う業務では、NTTデータはAzure OpenAIという基盤選択に加えて、構成管理・攻撃検知・入力ブロックの機構を併せて構成している
- デジタル庁は、モデルの優劣を事前に決めず、自組織の実利用でのブラインドA/Bテストの結果を、来年度以降の調達方針の検討材料としている
難しい技術評価をしなくても、業務ごとに求める水準を精度・速度・コスト・学習データ・機密性・稼働環境に分けて書き出し、候補を自分たちの業務で比べてみることから始められます。