RAG

生成AIやAIエージェントの基礎から、業務効率化、セキュリティ、導入・活用のヒントまで。
会社でAIを安心して使いこなすための情報を、わかりやすくお届けします。

RAGの評価方法|検索・回答・根拠を分ける測定設計

RAGの評価は、最終回答の正誤だけを採点しても改善箇所を特定できません。検索で必要文書を取れたか、取得文書に回答の主張が支えられているか、必要事項を満たしたか、業務で採用できたかを別々に測ります。この記事を読み終えた時点で作る成果物は、変更前後を同じ条件で比べられる「RAG評価票」です。 目次

社内RAGのアクセス制御|権限継承・引用・監査の設計

社内RAGは、利用者が元システムで閲覧できる文書だけを検索候補にし、その範囲だけで回答と引用を作る必要があります。回答後の伏字や画面側の非表示だけでは、検索ログ、再ランキング、外部API、キャッシュへ権限外情報が渡る経路を止められません。本稿では、認証、属性解決、検索前認可、チャンクACL、引用解決、監査を一つの境界として設計し、12主体×24文書×3操作=864件の許可・拒否試験で確認します。

TOP