AIエンジニアの面接対策
幻覚(ハルシネーション)への対策|LLM エンジニアの面接でよく聞かれる質問と答え方
更新日 2026年11月16日 / 書いた人 上田 英介(ジンベイ株式会社 代表取締役/職業紹介責任者)
幻覚(ハルシネーション)は、LLM が事実と違う内容や、根拠にない内容をもっともらしく出力してしまう現象です。LLM を業務に使う会社では、ほぼ必ず聞かれる題材です。
「RAG を使えば防げます」とだけ答えると、面接官は深掘りしてきます。RAG を使っても幻覚は起きるからです。この記事では、どの層で何をするかを整理して答える方法を解説します。
よく聞かれる質問
- 「幻覚を減らすために、どんな対策をしますか」
- 「RAG を入れたのに、文書に書いていないことを答えます。なぜですか」
- 「幻覚が起きたことを、どうやって検知しますか」
- 「temperature を0にすれば幻覚はなくなりますか」
答えの骨組み:まず種類を分ける
対策を並べる前に、幻覚を2種類に分けると話が整理できます。
| 種類 | 内容 | 例 |
|---|---|---|
| 根拠に反する・根拠にない | 渡した文書と違うことや、文書にないことを書く | 規程に「5日以内」とあるのに「7日以内」と答える |
| 事実に反する | 根拠を渡していない状態で、世の中の事実と違うことを書く | 存在しない法律の条文や論文を挙げる |
業務のアプリで主に問題になるのは前者です。根拠を渡す設計にしたうえで、「根拠に忠実か」を確かめる仕組みを作るのが基本の方針になります。
答えの骨組み:層ごとの対策
対策は、入力、生成、出力の後、画面の4つの層に分けて話すと抜けが少なくなります。
入力の層
- 必要な情報を根拠として渡す。根拠がなければ答えられないのは当然、という前提に立つ
- 根拠の関連度が低いときは、そもそも生成に進まず「見つかりませんでした」と返す
- 検索の精度そのものを上げる。正しい文書が渡っていない幻覚は、生成側では直せない。詳しくは検索の精度を上げるへ
生成の層
- 「根拠に書かれていないことは書かない。分からなければ分からないと答える」と明示する
- 回答の各文に、根拠の文書の番号を付けさせる
- 数値や日付、計算が必要なものは、LLM に計算させずプログラムや外部の道具で求める。道具の設計はツール呼び出しの設計で扱っています
出力の後の層
- 付けられた根拠の番号が実在するか、その文書に該当する内容があるかを確かめる
- 回答の文ごとに、根拠から導けるかを別の LLM や判定用のモデルで判定する
- 出力の形式が決まっているなら、決められた形(JSON の型、選択肢の範囲)に収まっているかをプログラムで確かめる
画面の層
- 根拠の文書へのリンクを必ず表示し、利用者が自分で確かめられるようにする
- 間違いの影響が大きい用途では、人が確認してから使う運用にする
深掘り
「RAG を入れたのに、文書に書いていないことを答えます」
原因を3つに分けて調べる、と答えます。1つ目は、正しい文書が検索で上位に入っていない。2つ目は、文書は渡っているが、モデルが自分の知識を優先して答えている。3つ目は、関係の薄い文書が多く混じり、その内容に引きずられている。どれかによって、直す場所が検索なのか、プロンプトなのか、渡す件数なのかが変わります。
「幻覚を、どうやって検知しますか」
開発中は、根拠つきの評価データで「根拠に忠実か」を採点します。採点の作り方はLLM アプリの評価の仕組みで解説しています。本番では、出力の後の判定で引っかかった割合、利用者の低評価、担当者への引き継ぎを見ます。
正解の根拠がない状況では、同じ質問を複数回生成して答えが食い違うかを見る方法もあります。答えがばらつく質問は、モデルが確信を持っていない可能性が高いと考えられます。ただし費用が数倍になるので、重要な用途に限って使う、と付け加えます。
「temperature を0にすれば幻覚はなくなりますか」
なくなりません。temperature を下げると、出力のばらつきは小さくなりますが、間違った答えを毎回同じように返すことは起こります。再現性を上げて調査しやすくする効果はある、という位置づけで答えます。
「ファインチューニングで幻覚を減らせますか」
知識を覚えさせる目的のファインチューニングは、幻覚を減らす手段としては向いていないことが多い、と答えます。最新の情報を反映しにくく、覚えさせた内容を正確に引き出せる保証もありません。答え方の形式や「分からないと言う」振る舞いを身につけさせる目的なら効く場合がある、と分けて話せると良いです。
よくある失敗
- 「RAG で解決します」で止める:RAG の後にも幻覚が起きる理由と、その対策まで話す
- プロンプトの工夫だけを挙げる:指示を書くだけでは防げない。出力の後で確かめる仕組みを必ず入れる
- ゼロにできる前提で話す:幻覚はゼロにはならない。起きたときに利用者が気づける画面と、影響を小さくする運用まで含めて答える
- 用途の重さを考えない:社内の雑談と、契約や医療の回答では、必要な対策の強さが違う
まとめ
幻覚への対策は、種類を分け、入力・生成・出力の後・画面の4つの層で対策を重ねる、という形で答えます。実務で対策をした経験があれば、どの層で何をして、評価データの数字がどう変わったかを話すと説得力が出ます。その経験を書類にどう書くかは、生成AIの経験の書き方も参考にしてください。面接の準備で迷ったら、ジンベイにご相談ください。
