企業向けAIアーキテクチャの選び方｜RAG・エージェント・MCP・ローカルLLM

企業向けAIアーキテクチャは、流行している技術を全部載せるのではなく、業務で必要な「生成」「社内知識の参照」「外部操作」「配置」を分解し、最小の構成から選びます。

RAG、AIエージェント、MCP、ローカルLLMは競合製品のような四択ではありません。請求書の項目抽出ならモデル単体、社内規程に基づく回答ならRAG、承認後の登録まで行うなら限定的なツール実行、と必要な役割だけを足します。本記事では、PoCの比較表と3年総費用を使い、採用・保留・撤退を決める方法を示します。金額と件数は架空企業の試算例であり、導入実績ではありません。

企業向けAIアーキテクチャは必要な役割だけを組み合わせて選ぶ

最初に決めるのは製品名ではなく、どの機能を業務に足すかです。RAGは、質問に関係する文書を検索し、その断片を生成時の文脈へ渡す構成です。

Lewisらの原著論文は、モデル内の知識に検索可能な外部記憶を組み合わせるRAGの研究上の出発点を示しています^[5]。これは原著論文であり、特定製品の公式仕様や自社規程への正答保証ではありません。文書分割、検索漏れ、版管理、引用箇所の検証は、自社の利用条件に合わせて別に設計します。

MCPプロジェクトの公式仕様2025-11-25は、初期化時にプロトコル版と機能を合意し、運用後に接続を終了するライフサイクルを定めています^[4]。これは接続手順の一次資料であり、モデルそのもの、RAGの検索品質、業務承認を定める規格ではありません。

したがって「MCP対応だから安全」「ローカルだから高精度」といった一語の評価は採用理由になりません。機能と責任範囲を分けた表が、後工程の見積もりと契約交渉の土台になります。

現行業務のベースラインからアーキテクチャ要件を作る

要件定義では、AIを使わない現行手順を基準にします。たとえば社内IT問い合わせを対象にするなら、直近8週間から「通常質問60件、最新版の確認が必要な質問20件、権限変更を伴う依頼10件、回答不能10件」の計100件を抽出します。

各件について、受付から解決までの時間、一次回答で解決したか、誤案内の件数、担当者の確認分数、参照した規程版を記録します。繁忙週だけを除くと改善幅が膨らむため、月末や障害発生日も母集団へ含めます。

この100件と次の数値は、要件の作り方を示す架空企業の想定例であり、調査結果や業界平均ではありません。自社では件数よりも、通常案件、最新版確認、権限操作、回答不能という層をそろえることが重要です。

AI導入前の一次解決率が68%、中央値が42分、誤案内率が3%、確認工数が1件12分なら、PoCの合格候補を「一次解決率75%以上、中央値30分以下、重大な誤案内0件、確認工数8分以下」と置けます。ただし、4指標のうち一つでも満たせば採用、とはしません。重大誤案内は他の改善で相殺できない必須条件です。

要件書の主語は技術ではなく業務責任者です。業務部長が成果と許容損失を決め、情報システム部門が構成と運用可能性を証明し、法務・セキュリティ部門は所管範囲の不適合を止めます。

NISTの生成AI向けプロファイルNIST AI 600-1（2024年7月26日公表）は、組織の目的、法的要件、リスク許容度、資源に合わせてプロファイルを作る考え方を示しています^[2]。日本企業への法的義務を定める資料ではありませんが、要件を「精度」だけに縮めず、誤情報、プライバシー、情報セキュリティ、説明可能性、監視まで広げる参照枠として使えます。

業務の複雑さに応じて5つの候補構成を比較する

候補は、機能を増やす順に並べます。最初から自律実行を前提にすると、モデル精度の問題と接続・権限の問題が混ざり、失敗原因を特定できません。

社内IT問い合わせの想定例なら、候補Aの検索なし生成、候補BのRAG、候補CのRAGと承認付きAPI、候補Dの複数工程エージェント、候補Eのローカル推論を同じケースで比べます。既存のルールベース検索も対照候補として残し、「AIを使わない選択」を消さないことが重要です。

RAGが必要でも、すべてをベクトル検索にする必要はありません。社員番号や製品コードの完全一致はデータベース検索、規程の意味検索はベクトル検索、最終回答は両方の結果を使う方が監査しやすい場合があります。

AIエージェントも「自由に計画させる」一種類ではなく、利用可能な道具を3個に限定し、金額更新は人の承認後だけ許す構成にできます。比較対象は名前ではなく、権限を含む実装単位にそろえます。

6週間のPoCで精度・操作・例外を分けて検証する

PoCの目的は、見栄えのよいデモを作ることではなく、採用判断に残っている不確実性を減らすことです。想定する6週間では、第1週に100件の評価セットと現行値を確定し、第2〜4週に候補BとCを実行します。

第5週はモデルや検索設定を固定したうえで再試験し、第6週に業務部長、CIO、セキュリティ責任者が採否を記録します。PoC中に評価問題を入れ替えた場合は、変更前後の結果を同じ系列として比較しません。この期間と役割分担は、社内IT問い合わせを想定した本稿の計画例です。

不正更新、秘密情報の表示、監査ログ欠落が1件でも起きた場合は、その構成の自動実行を停止します。誤回答が目標を下回った場合はRAGの検索失敗と生成失敗を分け、検索上位5件に正解文書がある割合を先に測ります。

検索に正解がないのにモデル変更だけを続けると、原因に届かないまま費用を消費します。PoC責任者は進捗を報告しますが、例外を受け入れて本番へ進める権限は業務部長とリスク所管役員に残します。

初期費だけでなく3年総費用と1件当たり費用を試算する

アーキテクチャの費用範囲には、モデル利用料だけでなく、要件整理、文書整備、検索基盤、接続開発、評価、監視、利用者教育、障害対応、契約終了時の移行を含めます。

ローカル構成ではGPU購入費を耐用月数で配賦し、電力、保守、モデル更新を加えます。クラウド構成ではトークン単価だけでなく、入力増加、再試行、ログ保存、ネットワーク、最低利用額を見積もります。両者で含む費目をそろえない比較は使えません。

3年総費用 =
初期設計・開発費
+ 36か月分のモデル／基盤／保守費
+ 文書更新・評価・監査・教育の人件費
+ 想定障害対応費
+ 契約終了・データ移行の予備費
1件当たり総費用 =
3年総費用 ÷ 3年間の承認済み処理件数

架空企業で、初期費1,200万円、月額基盤90万円、運用担当0.6人月を月100万円、四半期評価を年240万円、移行予備費300万円と仮定します。3年総費用は「1,200＋90×36＋60×36＋240×3＋300＝7,620万円」です。

月8,000件のうち品質基準を満たして利用された割合が85%なら、3年の承認済み処理は8,000×0.85×36＝244,800件、1件当たり約311円です。これは見積もり方法を示す試算で、実際の価格や工数ではありません。

経済効果は、削減可能時間に人件費を掛けただけでは確定しません。月1,000時間短縮しても、人員が別の価値ある仕事へ移らず待ち時間が増えただけなら、現金支出は減りません。

構成選定では「処理能力の増加」「外注費の削減」「残業の減少」「売上への寄与」を別欄にし、費用回収月数を楽観・標準・慎重の3シナリオで出します。標準シナリオの回収が24か月、慎重シナリオが契約期間を超えるなら、段階契約か小さい構成を優先します。

稟議前の予算枠は、ベンダー価格と誤認されないよう架空企業の計画レンジとして置きます。読み取り専用の一部門PoCは初期300万〜800万円、月額20万〜80万円を目安にし、100件の評価、簡易ログ、利用手順までを含めます。

3〜5部門で使う共通RAGは初期1,000万〜3,000万円、月額80万〜250万円とし、文書の権限継承、更新監視、問い合わせ対応を追加します。外部システムの更新やローカル推論を伴う構成は初期3,000万〜8,000万円、月額250万〜800万円を仮置きし、専用認証、承認画面、24時間監視、GPU保守、復旧演習の必要分だけ計上します。

これらの金額は出典資料から引用した市場相場ではなく、比較表の作り方を示す編集部の仮定です。案件数、既存基盤、可用性、データ整備量で大きく変わるため、この幅を外部説明や予算確約には使いません。

感度計算では、一要因ずつ慎重条件へ替えた総費用と1件当たり費用を出し、標準値との差を記録します。月間処理量を12,000件へ増やしても承認済み処理率が60%へ落ちるなら、利用量の増加を規模の効果とは見なしません。

CIOは技術費と運用能力、業務部長は件数と確認工数、CISOは監視・事故対応、調達責任者は単価と終了費を署名します。いずれかの前提が20%以上外れた時点で見積書を更新します。3年総費用が承認枠の120%を超えるなら全社展開を止め、RAGだけに戻すか対象部門を絞ります。

選定記録には、金額だけでなく見積もりの確度を付けます。契約書や実測に基づく費目は「確定」、ベンダー見積もりは「見積」、処理量や確認時間は「仮説」と表示します。

仮説費目が3年総費用の30%を超える候補は本契約へ進めず、短期契約で実測を取ります。月次の費用差異をCIOが集計し、四半期ごとにCFOが総費用範囲を再承認することで、従量費の増加を現場だけに抱えさせません。

候補を決裁した日には、採用しなかった構成と理由も残します。将来の価格改定やデータ要件の変更で前提が逆転したとき、過去の比較条件から再開できるためです。再評価日は契約更新の90日前に置き、準備時間を確保します。

データ境界・実行権限・停止操作を構成へ組み込む

安全策は利用規約だけでなく、データと権限の流れとして設計します。入力データを公開、社内限定、個人情報、機密の四区分へ分け、各区分で利用できるモデル、保存期間、ログ閲覧者を決めます。

RAGの検索権限は元文書の閲覧権限を引き継ぎ、検索インデックスを経由すると見えてしまう状態を防ぎます。エージェントには専用IDを発行し、参照と更新を別権限にします。削除・送金・顧客通知は、人の承認なしに実行させません。

NIST AI 800-5（2026年5月18日公表）は、NISTがAIエージェントのセキュリティに関する意見募集結果をまとめた公的報告書です。従来のサイバー対策が引き続き重要である一方、AIエージェント向けの調整が必要だという回答者の共通認識を報告しています^[3]。

NIST AI 800-5は実装標準や製品評価ではなく、AIエージェントのセキュリティについて寄せられた意見の要約です^[3]。本稿では、外部データ中の悪意ある指示、過大な権限、意図しない行動を比較試験へ入れる根拠に限定して使います。

デジタル庁の公式ガイドライン「行政の進化と革新のための生成AIの調達・利活用に係るガイドライン（第2.0版）」は、2026年6月12日に公開されました。調達時の確認項目として、ベンダーロックイン回避、モデル更新、データ管理、検証可能性などを掲げています^[1]。

直接の適用対象は政府機関であり、一般企業の法的義務として引用してはいけません。本稿では、企業の調達票に不足する論点を探すための公的な参考資料として使います。

停止操作は「管理画面から無効化できる」だけでは足りません。外部ツール用認証情報の失効、実行中ジョブの取消、キューの隔離、直前の正常状態への復元、利用者への告知を30分以内に行えるか演習します。秘密情報の露出、権限外更新、監査ログの連続欠損が発生したら自動処理を止め、原因が確定するまで読み取り専用へ落とします。

構成変更の承認では、部品名ではなくデータと権限の経路が変わるかを判定します。検索モデルの交換だけなら既存の評価セットで再試験できますが、新しい外部ツールへの書き込みを加える場合は、認証範囲、送信データ、失敗時の復元、監査ログを改めて審査します。

変更理由、影響する業務、再試験項目、承認者を構成判断記録へ残します。障害時に「いつ、どの境界が変わったか」を追跡できるため、影響のない機能まで一律に止める事態を避けやすくなります。

調達仕様と契約に運用・更新・移行の証拠を求める

提案依頼書では「高精度な生成AI」のような形容詞を避け、共通の100件評価セット、統一した応答時間上限、同一のデータ区分で回答を求めます。

ベンダーには、入力・出力・ログの保存場所、学習利用の有無、再委託先、暗号化、管理者アクセス、障害連絡時間、モデル変更の通知方法を記入してもらいます。提案スライドの説明ではなく、契約条項、管理画面、監査報告、PoCログのいずれで証明するかも指定します。

価格の安い候補がデータ書き出しや旧版固定を提供しない場合、初年度の差額より移行停止の損失が大きくなることがあります。契約期間を3年にするなら、モデル変更後の再評価を無償範囲に含めるか、予算へ明記します。調達担当者は契約整合を担い、技術責任者は実演結果、業務責任者は期待品質、CISOは受容できないリスクを署名します。

必須条件と加点項目を分けた採点表で候補を決める

総合点の前に失格条件を判定します。権限外更新0件、重大な情報露出0件、必要ログ取得100%、契約上の学習利用条件適合を必須とし、一つでも欠ける候補は価格や精度が高くても採用しません。

必須条件を通過した候補だけに、業務適合30点、品質20点、統制20点、3年総費用15点、運用10点、移行可能性5点の100点満点を使います。この配点は本稿の想定例です。重みは評価結果を見る前に経営会議で承認し、候補ごとに変えません。

総合点 =
業務適合点 × 0.30
+ 品質点 × 0.20
+ 統制点 × 0.20
+ 総費用点 × 0.15
+ 運用点 × 0.10
+ 移行可能性点 × 0.05

この例ではCが最高点ですが、全問い合わせをCへ移す結論にはしません。標準回答は費用の低いB、申請票の下書きだけCに振り分ける併用が合理的です。差が2点以内なら順位に確度がない可能性があるため、慎重シナリオの費用と例外ケースの結果を取締役会へ並べます。最終決裁者は「最高点だから」ではなく、採用範囲、残存リスク、予算上限、次回見直し日を決裁記録へ残します。

撤退条件を数値化し、乗り換え可能な資産を残す

撤退は事故が起きてから相談する作業ではありません。本番開始時に、重大な情報漏えい1件、権限外更新1件、一次解決率が2か月連続で65%未満、月額総費用が予算の120%超、モデル変更後10営業日以内に再評価できない、という停止トリガーを定めます。安全上のトリガーは即時停止、品質と費用は読み取り専用への縮小、契約不履行は是正期限後の解約、と反応を分けます。

乗り換え資産には、評価セット、正解ラベル、プロンプト、検索文書と版情報、アクセス制御表、API定義、監査ログ項目、障害記録を含めます。MCPを利用しても、業務固有の認証やデータ形式まで自動的に移植できるわけではありません。

四半期に一度、別環境へ評価セットと設定を出力し、復元に要する時間を測ります。24時間以内に最低限の回答機能を再開できなければ、移行手順を未完成と判定します。24時間という基準は、本稿の架空企業が社内IT問い合わせに置いた運用目標です。

撤退の決裁は、PoCを推進した担当者だけに持たせません。CIOが技術停止、業務部長が代替手順、CISOが事故対応、調達責任者が解約・データ削除をそれぞれ確認し、経営スポンサーが継続費用と残存リスクを比較して最終判断します。過去の開発費は回収できない埋没費用として、今後の継続判断を歪めないよう別欄に置きます。

現場定着は利用率ではなく業務完了と支援負荷で確認する

構成が技術試験を通っても、現場の入力手順や承認動線に合わなければ価値は出ません。最初の8週間は対象をITサービスデスク20人に限定し、週次で承認済み回答件数、AI利用後の完了時間、修正理由、問い合わせ先への相談件数を追います。

ログイン率が高くても、担当者が出力を全面的に書き直しているなら定着ではありません。利用しなかった案件の理由も「不要」「遅い」「根拠不足」「権限外」に分けます。8週間と20人は本稿の試行条件であり、自社では繁忙周期と担当者構成に合わせて設定します。

現場責任者は利用を強制する役ではなく、どの案件で人の判断へ戻すかを運用します。情報システム部門は応答時間と障害、ナレッジ管理者は文書更新から索引反映までの時間、教育担当は誤操作と研修後の再試験を持ちます。問い合わせ10件当たりの支援工数がPoC想定の2倍を4週続けた場合は、対象部門の追加を止め、画面、手順、文書品質のどこに負荷があるかを直します。

全社展開の条件は、対象部門で8週間連続して重大事故0件、品質基準達成、1件当たり費用が承認上限内、代替手順の演習完了の四つです。満たさない段階でアカウントだけ配ると、利用量は増えても監査不能な個人運用が広がります。定着の最終責任は、ツール管理者ではなく業務プロセスを所有する役員が負います。

AIアーキテクチャ選定を見送るケースと専門部署へ渡す境界

現行業務の正解や処理件数を取得できない、元文書の版が管理されていない、データ利用権限が不明、誤りが人命・信用・法的地位へ直結するのに人の再確認を置けない場合は、PoCを始める段階ではありません。先に業務標準化、記録整備、権限確認を行います。月10件しかなく例外が毎回異なる業務では、AI基盤の開発より検索改善や専門家への相談経路を整える方が安いこともあります。

採用・与信・医療・重要インフラなど高い影響を持つ用途、EU域内で提供・利用する可能性がある用途、個人情報の新しい結合を伴う用途は、通常の選定会議だけで進めません。法務、プライバシー、労務、情報セキュリティ、必要に応じて外部専門家へ影響評価を引き継ぎます。本記事の採点表は規制適合性の証明ではなく、候補を比較する編集部提案です。

逆に、既存の定型処理で正答ルールが明確なら、生成AIを使わない自動化が有力です。合計計算、必須項目検査、決まった条件分岐は通常のプログラムの方が再現しやすく、費用も読みやすい場合があります。「AIを採用しない」「RAGだけに留める」という結論を有効な成果として扱える選定体制が、過剰構成を防ぎます。

企業向けAIアーキテクチャのよくある質問

RAGとAIエージェントはどちらか一方を選ぶのですか？

排他的な選択ではありません。社内根拠の検索が必要ならRAG、複数の外部操作が必要ならエージェントを検討します。検索結果を根拠に処理するエージェントのように併用できますが、検索だけで目的を満たす業務へ自律実行を足す必要はありません。

ローカルLLMなら情報漏えいリスクはなくなりますか？

なくなりません。外部APIへ本文を送らない構成にはできますが、端末侵害、権限設定、ログ、モデル入手経路、検索基盤、バックアップなど別の管理対象が残ります。配置方式ではなくデータの流れ全体で評価します。

AIアーキテクチャのPoCは何週間必要ですか？

本記事の想定例は6週間です。準備1週、実行3週、再試験1週、判定1週を置きます。代表ケースと例外ケースを事前に用意できるなら短縮できますが、本番データの権限確認や監査が必要な案件を日数だけで急ぐべきではありません。

次に取る行動

次の選定会議までに、製品デモの依頼ではなく、次の三つを準備します。

1. 対象業務から100件の評価候補を集め、重大失敗、許容時間、現行費用、承認者を記録する。
2. モデル単体、RAG、承認付きツールの三構成を、同じ評価セットと3年総費用で比較する。
3. 6週間のPoC予算、中止日、必須条件の判定者をCIOへ提出する。

100件の評価候補を作れない場合は製品選定へ進まず、現行業務の記録と正解根拠の整備へ戻ります。

参考文献・出典

1. 企業向けAIアーキテクチャの調達・利活用に関する公的指針：デジタル庁「行政の進化と革新のための生成AIの調達・利活用に係るガイドライン（第2.0版）」第2.0版、2026年6月12日公開、2026年7月30日参照
2. NIST, “Artificial Intelligence Risk Management Framework: Generative Artificial Intelligence Profile,” NIST AI 600-1, 2024年7月26日公表（ページ更新2026年4月8日）、2026年7月30日参照
3. NIST, “Summary Analysis of Responses to the Request for Information Regarding Security Considerations for AI Agents,” NIST AI 800-5, 2026年5月18日公表、2026年7月30日参照
4. Model Context Protocol, “Lifecycle,” Protocol Revision 2025-11-25、2026年7月30日参照
5. Patrick Lewis et al., “Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks,” arXiv:2005.11401, 2020年5月22日初稿、2026年7月30日参照