マルチモーダルAIエージェントとは？入力・精度・費用の設計

マルチモーダルAIエージェントとは、文書、画像、音声、動画など異なる形式の根拠を関連付け、人の確認を挟んで業務ツールを操作する仕組みです。 単に画像を説明できるモデルではありません。どの原本の何ページ、どの座標、何秒地点を根拠にしたかを保持し、確信できない項目や実行予定を確認画面へ出せることが業務利用の条件です。

本稿は、問い合わせ記録と現場映像から保守依頼を起票するような業務を想定します。読み終えた担当者が作れる成果物は、入力台帳、240件の評価データ設計、月額費用の試算、レビュー画面の項目表、100点の採否票です。製品名から比較を始めるのではなく、自社が必要とする「根拠の統合」と「操作前の承認」を定義できる状態を目指します。

マルチモーダルAIエージェントを一文で定義する

業務で使うマルチモーダルAIエージェントは、四つの層で構成されます。複数媒体を読み取る「知覚」と、媒体間の内容を結び付ける「統合」が前半の二層です。後半は、社内ルールと照らす「判断補助」と、別システムへ候補を渡す「ツール実行」です。例えば設備保守では、作業員の音声メモ、故障箇所の写真、過去の点検PDF、センサーCSVを同じ案件IDへ結び、部品番号と緊急度の候補を作ります。最後に担当者が出典箇所と入力品質を見て、保守管理システムへの登録を承認します。この一連を担って初めて「エージェント」と呼べます。

導入価値が生まれるのは、少なくとも二種類の媒体を人が行き来しており、その照合結果が後続処理を変える業務です。画像だけを分類して一覧へ出すなら画像認識、録音だけを文字化するなら音声認識、PDFだけを要約するなら文書AIで足ります。媒体をまたぐ不一致を発見し、その不一致を解消してから起票や通知へ進む必要があるかが、単機能AIとの分岐点です。

採用判断の中心は「何種類の入力を読めるか」ではなく、「原本上の根拠を失わず、矛盾を止め、承認された操作だけを実行できるか」です。

したがって、最初の要件はモデル名ではありません。案件ID、媒体種別、取得日時、権利区分、原本位置、抽出値、確信度、確認者、実行結果を一つの追跡番号で結べることです。この記録を作れない環境では、回答の見栄えが良くても原因調査と取り消しができず、業務エージェントとしては未完成です。

導入前に五つの誤解を訂正する

第一の誤解は「一つのモデルへ全部渡せば自動的に正しく統合される」です。画像の撮影時刻と音声の発言時刻がずれていれば、同じ対象を説明している保証はありません。第二は「文字起こしの正解率が高ければ業務も正しい」です。部品番号の一文字誤りや否定語の脱落は、一般語の多数の正解より影響が大きいため、重要項目を別集計します。

第三は「動画なら出来事を漏れなく観察できる」です。Googleの公式動画理解資料では、具体的な現行実装例として映像を既定で毎秒1フレーム処理し、速い動きの細部を見落とし得ると説明しています^[3]。これは全製品共通の仕様ではありませんが、フレーム抽出方式を確認せずに安全検査へ使えない理由を示します。高速工程では、別カメラ、静止画連写、センサー値を併用する設計が必要です。

第四は「AIが根拠を表示すれば検証済み」です。表示されたページや時刻が実際の原本と一致するかを機械的に照合しなければ、根拠らしい文字列を出しただけかもしれません。第五は「人が最後に見るので危険は小さい」です。確認画面に原本、差分、実行先が並ばなければ、担当者は長い回答を読み流し、実質的な追認になります。

画像・音声・動画・文書の入力形式を契約として管理する

入力対応は「PDFも画像も可」という宣伝文句ではなく、受付可能なMIMEタイプ、容量、長さ、解像度、文字コード、暗号化、保持期間を記した入力契約にします。自社の初期案では、文書をPDFとUTF-8テキスト、表データをCSVとJSON、画像をPNGとJPEG、音声をWAVとMP3、動画をMP4に絞ると検証しやすくなります。HEICやMOVを受け付ける場合も、変換後の原本同一性、メタデータ保持、回転情報の扱いを先に決めます。

具体例として、Googleの画像理解資料はPNG、JPEG、WEBP、HEIC、HEIFを対応形式として列挙し、画像の向きやぼけを確認するよう案内しています^[1]。同社の音声資料はWAV、MP3、AIFF、AAC、OGG、FLACを示し、現行仕様では音声を毎秒32トークンとして数えると記載しています^[2]。これらは一社の仕様なので、自社の許可表へ転記する際は採用サービス名、モデル版、確認日を列に加え、別製品へ一般化しません。

受付後は原本を改変せず、正規化した作業用コピーを別に作ります。回転補正、音量調整、フレーム抽出、OCRを行った場合は処理名と版を残します。複数媒体が同じ案件に属するかは、利用者の選択だけに依存させず、設備番号、場所、撮影時刻の許容差を照合します。設備番号が一致しても時刻差が24時間を超える場合は自動結合せず、確認待ちへ送るといったルールが必要です。

原本の受領から業務ツール操作までを七段階でつなぐ

処理の開始点はアップロードではなく、利用目的と権限の確認です。誰が何のために入力し、結果をどのシステムへ渡すかが未確定なら受付を完了させません。その後にマルウェア検査、形式検証、正規化、媒体別抽出、媒体間照合、業務ルール判定、確認、実行へ進みます。各段階は同じ追跡IDを使い、後工程から原本へ戻れるようにします。

1. 受付: 依頼目的、案件ID、利用権限、保存期限を登録
2. 安全検査: ファイル型偽装、マルウェア、破損、暗号化を検出
3. 正規化: OCR、回転補正、音声区間化、動画フレーム抽出を実施
4. 媒体別抽出: 型番、発言、損傷位置、日時を構造化
5. 相互照合: 写真の銘板と音声中の型番などを比較
6. 候補作成: 社内規程に沿って緊急度と担当部署を提案
7. 確認後実行: 人が差分を確定し、許可された項目だけを起票

媒体別モデルの結果は自由文で渡さず、値、単位、根拠位置、確信度、欠落理由を持つ構造へ統一します。音声に「たぶんA17」とあり、写真の銘板が「A-71」なら、どちらかを多数決で選びません。型番を不一致状態にし、候補作成を止めます。後続の保守システムには確定値だけを送るため、抽出結果と実行データのスキーマを分けます。

追跡ID: MM-2026-00418
抽出候補: 設備型番 A-71
画像根拠: photo_03.jpg / x=412..668, y=188..244
音声根拠: memo_01.mp3 / 00:18.4..00:20.1
照合結果: 不一致
次の状態: REVIEW_REQUIRED
許可される操作: 下書き保存のみ
禁止される操作: 保守チケット確定、部品発注、外部通知

NIST AI 600-1は、生成AIのリスク管理を組織横断で扱うための任意のプロファイルとして、設計、利用、評価の各段階へ信頼性の観点を組み込む資料です^[4]。この考え方を実装へ落とすなら、モデルの回答ログだけでなく、入力変換、規則判定、人の訂正、ツール実行の記録を別々に保持します。

できること・できないこと・近い技術との境界を分ける

マルチモーダルAIエージェントが得意なのは、媒体をまたいだ候補作成と不足情報の発見です。現場写真から損傷候補を囲み、音声メモから症状を抽出し、点検PDFの手順と照合して、担当者が確認しやすい一画面へまとめられます。一方、撮影されていない裏側の状態、録音されなかった発言、フレーム間で終わった動作は認識できません。入力に存在しない事実をもっともらしく補うことは能力ではなく誤りです。

「マルチモーダル」と「エージェント」も別概念です。前者は複数形式を入力または出力できる性質、後者は目的に沿って状態を持ち、道具を選び、次の処理を進める仕組みを指します。画像と文章へ一回答えるだけならマルチモーダルモデルですが、必ずしもエージェントではありません。逆に、テキストだけで在庫APIを順番に呼ぶ仕組みはエージェントでも、マルチモーダルではありません。

自動化の範囲は、候補作成、下書き保存、確定実行の三段階に分けます。損傷候補の囲み表示は自動化しやすく、緊急度の提案は下書き向きです。安全停止や発注確定は人が主導すべき業務に残します。媒体を増やすほど自動化率が上がるわけではなく、矛盾経路と権利確認が増える点を予算へ反映します。

240件の評価データで精度と安全性を分けて測る

評価データは、過去の成功案件だけを集めず、媒体ごとの通常例、読みにくい例、矛盾例、停止例を含めます。保守受付の想定では、文書60件、画像60件、音声60件、動画60件の計240件を用意します。各媒体で通常30件、低品質15件、他媒体との不一致10件、受付拒否5件を確保すると、平均値に埋もれる危険な失敗を確認できます。これは実績値ではなく、最初の検証用に筆者が示す設計例です。

正解ラベルには、抽出値だけでなく根拠位置と期待動作を含めます。画像なら型番の文字列、矩形座標、判読不能フラグ、音声なら発言、開始秒、話者、聞き直し要否、動画なら事象、開始・終了時刻、見逃し得る区間を記録します。データ作成者と採点者を分け、重大項目のラベルは二人が一致したものだけを採用します。意見が割れた例は曖昧さそのものが重要なので削除せず、「人にも確定不能」の区分に置きます。

想定例として、重大項目200件中198件が完全一致なら99.0%です。ただし、誤った2件が安全停止を解除する内容なら採用できません。逆に根拠位置が一文字分ずれても人が即座に確認できる場合は、業務影響を別区分へ置けます。NISTのプロファイルが示すような継続評価の考え方を踏まえ、モデル更新後は固定した240件で回帰試験を行い、新規実案件から毎月20件を追加します。

モデル料金だけでなく前処理・確認・保存を含めて費用を出す

月額費用は、入力処理、モデル推論、保管、ネットワーク、監視、人の確認、例外対応を足して見積もります。画像は枚数と解像度、音声と動画は秒数、文書はページ数またはトークン数が主な変動要因です。特に動画はフレームと音声の両方を処理するため、同じファイル容量でも映像時間と解像度で費用が変わります。ベンダーの単価表を取得した日付と通貨を記録し、無料枠を恒常的な原価へ入れません。

月額総費用 =
  初期受付件数 × 前処理単価
  + 入力トークン数 × 入力単価
  + 出力トークン数 × 出力単価
  + 音声秒数 × 音声処理単価
  + 動画秒数 × 動画処理単価
  + 保存GB月 × 保存単価
  + 確認時間 × 人件費時間単価
  + 例外件数 × 再処理単価

想定例として月1,000件、文書2,000ページ、画像3,000枚、音声20,000分、動画2,000分を処理するとします。前処理15万円、推論22万円、保存と監視8万円、担当者の確認200時間を時間単価4,000円で80万円、例外対応10万円なら、月額は135万円です。導入前が一件12分で月200時間、導入後が確認3分と例外対応40時間で計90時間なら、時間差は110時間です。時間価値を44万円と置く場合、費用だけでは91万円増えるため、受付速度、見落とし削減、夜間対応など別の便益がなければ採用根拠になりません。

単価感度は三段階で出します。動画量が倍、確認率が100%から50%、再処理率が5%から15%へ変わった場合を別々に計算し、最も費用を動かす要因を特定します。費用上限を超えたら低解像度へ自動変更する設計は、精度を下げる可能性があるため避けます。上限到達時は新規受付を保留し、対象媒体を人が選び直す運用にします。

Googleの現行動画資料は、標準的な解像度設定の例で動画1秒当たり約300トークン、低解像度で約100トークンという技術情報を掲載しています^[3]。この数字を他社料金へ流用せず、採用候補ごとに同じ10本の動画で実測トークン、待ち時間、欠落率を取り、費用と精度を同じ表で比較します。

入力権利・個人情報・生成結果の利用範囲を案件単位で残す

画像や動画を所有していることと、そこに写る人物、商品、著作物をAI処理へ使えることは同じではありません。入力台帳には取得者、撮影場所、利用目的、社内外区分、本人同意、第三者著作物、機密区分、国外移転、学習利用の有無、削除期限を記録します。音声は録音同意に加えて、話者識別を行うか、感情推定を行うかを分けます。会議記録の文字起こしが許可されても、声紋による本人特定まで許可されたとは限りません。

文化庁の「AIと著作権に関する考え方について」は2024年3月15日、同チェックリスト＆ガイダンスは2024年7月31日に公表されています^[5]。同資料は当事者の立場や利用行為を分けてリスク低減策を検討するための一次情報です。自社では「入力時の複製」「モデル提供者への送信」「生成結果の社内共有」「顧客への公衆送信」を別々の行為として法務確認し、社内利用だから一括で問題なしとは判断しません。

デジタル庁の生成AI調達・利活用ガイドライン第2.0版は政府機関向けの規範であり、民間企業へそのまま法的義務を課す資料ではありません。ただし、2026年6月12日の改定で音声や画像を含む適用範囲とリスク管理を扱う現行一次情報として、確認項目の漏れを探す参考になります^[6]。民間利用では自社契約、個人情報保護法、業界規制を優先し、同資料の対象関係を明記して参照します。

確認画面は原本・差分・実行予定を同時に見せる

確認者が必要とするのは長い要約ではなく、判断を変える差分です。画面左に原本、中央に抽出候補と根拠位置、右に業務ルールと実行予定を置きます。画像の矩形を選ぶと該当型番、音声の再生区間、点検PDFのページが連動して開くようにします。確信度は色だけで示さず数値と理由を併記し、「ぼけ」「重複話者」「資料間不一致」など人が確認できる原因を出します。

案件 MM-2026-00418                 状態: 操作停止中
[原本] 写真03 / 音声01 / 点検手順P.14
[候補] 型番 A-71    画像 0.98 / 音声 0.63
[差分] 音声は「A17」と認識、写真との一致なし
[予定] 保守依頼を下書き保存、担当班へ通知
[権利] 社内撮影済 / 話者同意済 / 外部送信不可
[選択] 差し戻す | 保留する | 型番を修正して下書き保存
確定実行は、型番差分が解消されるまで選択不可

停止条件は警告ではなく状態遷移として実装します。未許可MIME、破損、権利不明、人物同意なし、重大項目の媒体間不一致、原本位置なし、費用上限到達、承認者不在、外部システム応答不明を検出したら、確定操作を無効にします。動画で高速動作が評価対象なのに必要なフレーム間隔を満たさない場合も停止対象です。担当者が理由欄へ何か書くだけで解除できる仕組みにはせず、条件ごとに解除権限を決めます。

承認ログには、候補の初期値、修正後の値、見た原本、判断時間、選択した操作を残します。これにより、承認率が高い理由が高精度なのか、確認画面が読まれていないのかを分けられます。全件が数秒で承認され続ける場合は成功とみなさず、画面設計と責任範囲を再調査します。

四週間の検証で入力から停止・取消までを通す

第一週は業務の一工程だけを選び、原本と後続操作を固定します。保守受付なら「複数媒体から依頼下書きを作る」までに限定し、部品発注や顧客連絡は含めません。入力台帳の許可形式、重大項目、権利区分、保存期限、停止条件を業務・法務・情報システムの三者で確定します。同時に240件の評価データから個人情報と不要な機密を除き、利用許可を記録します。

第二週は読み取りと根拠位置だけを評価します。業務ツールへ接続せず、媒体別抽出、相互照合、判読不能の検出を採点します。重大項目完全一致率と危険操作阻止率が基準未満なら、プロンプト追加で隠さず、画像品質、音声区間、ラベル定義、モデル適合性のどこが原因かを分解します。第三週に確認画面を使い、実担当者5人が各20件を処理して、訂正率、確認時間、見逃した差分を測ります。

第四週だけ下書き保存APIへ接続します。確定実行は無効のまま、同じ追跡IDで重複登録を防げるか、通信中断後に結果を照合できるか、停止解除後に二重送信しないかを試します。テスト環境で取消と再開を成功させ、監査ログを第三者が追跡できた後に限り、少量の実案件へ進めます。実案件では一日上限20件、担当者常駐、外部通知なしという制限を置く想定です。

検証中に個人情報の誤表示、権利未確認データの送信、重大項目の誤確定、停止中のツール実行が一件でも起きたら、その日の試行を終了します。原因が入力、モデル、画面、連携のどこかを特定し、修正後に該当ケースと固定240件を再試験します。期限を優先して停止条件を緩める変更は、検証の目的を失わせるため認めません。

100点の採否票で「限定導入・再検証・見送り」を決める

採否は、精度だけでなく入力統制、根拠、権利、費用、操作安全を配点します。以下は保守受付向けの想定評価票であり、法的な認証や製品の優劣を示すものではありません。80点以上かつ必須条件を全て満たせば限定導入、65〜79点は再検証、64点以下は見送りとします。危険操作阻止率100%、重大項目完全一致率99%以上、未許可データ送信0件、二重登録0件は、合計点で相殺できない必須条件です。

向かないケース

原本の取得権限が不明、媒体を案件IDで結べない、重大項目の正解を決める専門家がいない、後続操作を取り消せない、確認者が原本へアクセスできない業務には向きません。単一媒体の要約だけで目的を達成できる場合も、複雑なエージェントを採る費用対効果は低くなります。

最終記録には点数だけでなく、対象業務、入力上限、許可する操作、禁止する操作、モデルと前処理の版、単価確認日、評価データ版、責任者、再評価日を残します。限定導入後に入力形式が増えた、モデルが更新された、重大誤りが一件出た、月額が予算上限を20%超えた、権利条件が変わった場合は採否票を再作成します。定義を理解した結果として必要なのは「高性能だから採用」ではなく、許可範囲を再現できる判断記録です。

次に取る行動

実案件を一件選び、文書・画像・音声・動画のうち実際に使う媒体だけを入力台帳へ記入してください。その案件について原本位置、重大項目、確認者、実行先、停止条件を一行ずつ定義できれば、製品候補へ同じ240件を渡して比較する準備が整います。

参考文献・出典

1. Google AI for Developers「Image understanding」（最終更新日 2026年7月21日 UTC、参照日 2026年7月30日）
2. Google AI for Developers「Audio understanding」（最終更新日 2026年7月21日 UTC、参照日 2026年7月30日）
3. Google AI for Developers「Video understanding」（最終更新日 2026年7月21日 UTC、参照日 2026年7月30日）
4. NIST「Artificial Intelligence Risk Management Framework: Generative Artificial Intelligence Profile」（NIST AI 600-1、2024年7月26日公表、ページ更新日 2026年4月8日、参照日 2026年7月30日）
5. 文化庁「AIと著作権について」（「AIと著作権に関する考え方について」2024年3月15日、「チェックリスト＆ガイダンス」2024年7月31日、参照日 2026年7月30日）
6. デジタル庁「行政の進化と革新のための生成AIの調達・利活用に係るガイドライン」（第2.0版、2026年6月12日、参照日 2026年7月30日）