AIエンジニアの面接対策
検索の精度を上げる|RAG の検索改善で面接に聞かれる質問と答え方
更新日 2026年11月16日 / 書いた人 上田 英介(ジンベイ株式会社 代表取締役/職業紹介責任者)
RAG の回答が悪いとき、原因の多くは生成ではなく検索にあります。正しい文書が LLM に渡っていなければ、どれだけプロンプトを工夫しても正しい答えは出ません。そのため、RAG の経験を聞く面接では「検索の精度をどう上げましたか」が定番の質問です。
この記事では、検索の精度の測り方と、改善の打ち手を、効きやすい順に整理します。RAG 全体の構成は社内文書の RAG の設計で解説しているので、ここでは検索の部分に絞ります。
よく聞かれる質問
- 「検索の精度を、どんな指標で測りましたか」
- 「チャンク(分割した文書の単位)の大きさは、どう決めましたか」
- 「ベクトル検索だけで足りますか」
- 「精度を上げるために、何を試して、何が効きましたか」
答えの骨組み:まず測る
改善の話の前に、測り方を話します。質問と、その答えが書かれている文書(正解の文書)の組を100〜200件用意し、検索の結果だけを評価します。
| 指標 | 意味 | どんなときに見るか |
|---|---|---|
| Recall@k | 正解の文書が上位 k 件に入った割合 | LLM に k 件渡す RAG では、まずこれを見る |
| MRR | 正解の文書が何位に出たかの逆数の平均 | 上位に出ているかを見たいとき |
| nDCG | 順位と関連度の高さを合わせて評価 | 関連度に段階があるとき |
RAG では、LLM に渡す件数の中に正解が入っているかが一番大事なので、Recall@k を中心に見るのが一般的です。指標を決めたら、ここから先の打ち手を1つずつ試し、数字で効果を確かめます。評価データの作り方はLLM アプリの評価の仕組みで詳しく扱っています。
答えの骨組み:効きやすい順の打ち手
1. 文書の取り出しと分割
最初に見るべきは、検索の前の段階です。PDF から取り出したテキストで表が崩れている、見出しが消えている、ヘッダーやフッターが本文に混じっている、ということがよくあります。ここが崩れていると、後の工夫が効きません。
分割は、固定の文字数で切るより、見出しや段落の単位で切るほうが、意味のまとまりを保てます。さらに、各チャンクの先頭に文書名と見出しの階層を付けておくと、「第3章 経費精算 > 3.2 出張」のような文脈が検索に効くようになります。
チャンクの大きさに正解はありません。小さいと文脈が足りず、大きいと関係ない内容が混じって検索の精度が落ちます。数通りの大きさで Recall@k を比べて決めた、と答えるのが良い答え方です。
2. ハイブリッド検索
ベクトル検索は意味の近さに強い一方、型番、条番号、社内の略語のような文字列の一致が大事な質問に弱いです。キーワード検索(BM25 など)と組み合わせ、2つの結果を順位で統合します。統合には RRF(各結果の順位の逆数を足し合わせる方法)がよく使われます。
日本語のキーワード検索では、単語の区切り方が精度を左右します。形態素解析で単語に区切る方法と、文字の n-gram で区切る方法があり、社内の専門用語や新しい略語が多いと、形態素解析の辞書にない語でうまく区切れないことがあります。ユーザー辞書を足す、n-gram と併用する、といった対策を話せると、日本語の検索を実際に扱った人だと伝わります。
3. 並べ替え(リランク)
検索で多めに候補を取り(たとえば50件)、質問と文書を一緒に入力して関連度を判定するモデル(クロスエンコーダー)で並べ替え、上位を LLM に渡します。最初の検索より計算は重いですが、精度が大きく上がることが多い打ち手です。応答時間との兼ね合いで、候補の件数を決めます。
4. 質問の言い換え
利用者の質問は短く、あいまいです。会話の続きの質問(「それの期限は?」)を単独で意味が通る文に書き換える、略語や言い回しを社内の用語に揃える、1つの質問を複数の検索に分ける、といった処理を LLM で行います。仮の回答を LLM に作らせ、その回答の文で検索する方法(HyDE)もあります。どれも LLM の呼び出しが1回増えるので、費用と応答時間が増える点を添えます。
5. 絞り込みの条件
部署、文書の種類、更新日などで検索の範囲を絞ります。「最新の規程で」と聞かれたのに古い版が上位に出る、という問題はこれで減らせます。
深掘り
「埋め込みのモデルは、どう選びましたか」
公開の評価の順位だけで選ばず、自社の評価データで候補を比べた、と答えます。日本語や専門用語への強さは、モデルによって大きく違います。それでも足りない場合は、質問と正解の文書の組を使って、埋め込みのモデルを追加で学習させる方法もあります。
「何を試したけれど、効かなかったですか」
この質問への答えが具体的だと、実際にやった人だと伝わります。「チャンクを小さくしたら、表の途中で切れて逆に下がった」「質問の言い換えは効いたが、応答時間が1秒延びたので、短い質問のときだけに限った」のように、条件と数字で話します。
「検索で正解の文書が取れているのに、回答が間違っています」
それは検索ではなく生成の問題です。関係の薄い文書が混じっていないか、渡す件数が多すぎないかを確かめます。詳しくは幻覚への対策へ。
よくある失敗
- 測らずに打ち手を並べる:どれが効いたかを数字で示せないと、経験の深さが伝わらない
- 生成と検索をまとめて評価する:回答が悪い原因が、検索か生成かを切り分けられない
- 日本語の区切りを気にしない:英語向けの設定のままキーワード検索を使い、精度が出ない
- 全部の打ち手を一度に入れる:応答時間と費用が膨らみ、どれが効いたかも分からなくなる
まとめ
検索の精度は、Recall@k などの指標で測り、文書の取り出しと分割、ハイブリッド検索、並べ替え、質問の言い換え、絞り込みの順に打ち手を試して確かめます。検索や推薦のエンジニアの経験は、そのまま RAG の検索改善に活かせます。似た考え方は推薦システムの設計でも問われます。自分の経験の活かし方に迷ったら、ジンベイにご相談ください。
