「生成AI導入の知見」RAG導入で社内検索はどう変わった？ 実践から得た学びと課題テクニカルレポート

RAGは、生成AIと情報検索技術を組み合わせた手法です。図１のように、ユーザーが質問をすると、まず質問に関連する情報を検索（＝Retrieval）します。その後、検索結果をもとに質問を補強（＝Augmented）し、回答を生成（＝Generation）します。このプロセスにより、RAG生成AIが事前に学習したデータだけでなく、検索結果から得た最新情報を反映した、より正確な回答を提供することができます。

ここからは、当社がRAGを導入した背景、システム構築のプロセス、試験運用の課題と成果、そして導入を通じて得られた知見について解説します。

当社には、ITシステムや業務フローに関する多くの社内文書が存在します。文書を管理しているシステムにキーワード検索の仕組みは備わっていましたが、適切な検索キーワードが思いつかない場合など、必要な文書を見つけるまでに多くの時間を費やすことが少なくありませんでした。そこで、社員が自然な言葉で質問するだけで、関連する社内文書をもとに適切な回答を得られることを期待し、RAGを導入しました。

図2は当社で構築したシステム構成です。このシステムでは、Microsoft社が提供するRAGのサンプルプロジェクト^※1を活用し、それを実際の運用に適した形にするために、下記３点のカスタマイズを行って構築しました。

当社では、RAGの活用を検討するにあたり、生成AIが誤った回答を提供するリスクを考慮しました。社員が誤った回答をそのまま信じて業務を進めてしまう可能性もあるため、全社員に公開する前に、まず社員向けサポートセンター内で試験運用を実施し、問い合わせ対応への活用が可能かを評価しました。

社員向けサポートセンターの担当者が、実際の問い合わせ内容をそのままシステムに入力し、有用な回答が得られるかを検証しました。回答が問題解決に役立つ場合は「Good」、誤った情報や不十分な回答の場合は「Bad」と評価し、とくに「Bad」のケースについては、なぜ適切な回答が生成されなかったのかを詳細に分析しました。試験運用では、合計228件の問い合わせを評価しました。その結果、「Good」と評価されたのは全体の約3分の1にとどまりました。これにより、RAGの導入によって一定の業務負担軽減は期待できるものの、多くの課題があることが明らかになりました。

RAGのBad評価の原因を詳しく分析したところ、文書の不備や不足（46%）と検索精度の低さ（42%）が大きな割合を占めていました。一方で、生成AIの精度が問題だったケースは12%にとどまりました（表1 Bad評価の原因内訳）。正しい回答が生成できない最大の原因は、文書の不備や不足でした。これは単にシステムや業務フローのドキュメント自体が存在しないという理由だけではなく、ユーザーから想定外の質問が寄せられることにも起因しています。たとえば、「社員が使用するPCの修理を依頼するためのフロー」に関する文書には「問い合わせ先」や「送付先」は記載されているものの、「PCを修理に出して返送されるまでの期間」に関する情報は含まれておらず、返却期間を尋ねるユーザーからの質問に対して適切な回答を提供できないケースがありました。

RAGの導入により、社内文章などのコンテンツの改善と運用体制の確立が不可欠であることが明らかになりました。また、チャット形式のユーザーインターフェース（UI）はユーザーのフィードバックを得やすく、検索精度の向上にも貢献します。ここでは、導入を通じて得られた知見と今後の展望について解説します。

今回のRAG導入で得られた大きな学びは、技術の導入だけでは不十分だということです。システムとしての検索精度を高めることも重要ですが、それ以上に必要なのは、コンテンツを継続的に改善し、最新で有用な情報を提供できる体制を整えることです。システムだけでなく、運用体制にも課題が見つかったことは大きな成果でした。また、FAQの拡充や情報整理が進めば、検索がしやすくなり、システムがより適切な回答を返せる可能性も高まります。コンテンツの改善は、文書の不備や不足に対する解決だけでなく、結果的に検索精度の向上にも寄与する取組と言えます。

RAGを導入したことで、ユーザーの問い合わせが自然な言葉で記録されるようになり、従来のキーワード検索よりもユーザーの意図を把握しやすくなりました。このログデータを活用することで、FAQや関連ドキュメントの充実につながり、今後の検索体験の向上に役立ちます。また、RAGのUIはユーザーのフィードバックを得やすいという利点もあります。従来の検索システムでは、検索条件と結果が一覧表示されるため、どの基準でフィードバックすればよいかわかりにくいという課題がありました。一方で、RAGの質問に対する回答自体を表示するUIでは、ユーザーが回答の有用性を簡単に評価できるため、より多くのフィードバックが収集でき、検索精度の向上につながります。

生成AIを活用するには、システム構築だけでなく、社内体制の整備や運用プロセスの改善が不可欠です。今回のRAG導入でも、社員が使用する文書やFAQの充実、コンテンツの継続的な改善がシステムの有効性を左右することが明らかになりました。
重要なのは、生成AIは手段であり、目的ではないということです。生成AIを活用し、業務効率を向上させ、社員が自力で問題を解決できる環境を整えることが大切です。
当社では、RAGの導入に限らず、生成AIを日常的に活用できる仕組みづくりを進めています。今後も、導入や運用のなかで得た学びを発信し、よりよい活用方法を探求していきます。