jinbay無料で相談する

AIエンジニアの面接対策

LLM アプリの運用監視をどう設計するか|トレース・指標・品質の見張り方の面接対策

本番で動く LLM アプリの何を記録し、何を監視し、問題が起きたらどう原因を追うか。トレースの取り方、見る指標、品質の変化の検知、個人情報の扱いまで、面接で話す順に解説します。

更新日 2026年11月16日 / 書いた人 上田 英介(ジンベイ株式会社 代表取締役/職業紹介責任者)

LLM アプリの運用では、サーバーが落ちていなくても「回答がおかしい」という問題が起きます。エラーにはならず、正常な応答として間違った内容が返るからです。そのため、通常の Web アプリの監視に加えて、LLM ならではの記録と監視が必要になります。

この記事では、RAG とツール呼び出しを使うアシスタントを題材に、運用監視の設計を解説します。

問題の例

顧客向けの AI アシスタントを本番で運用している。先週から「回答が的外れになった」という声が増えたが、エラー率も応答時間も変わっていない。原因を見つけられる監視の仕組みを設計してください。また、今回の問題をどう調べるかも説明してください。

1. まず聞き返す

聞くことなぜ聞くか
先週、何か変更したか(プロンプト、モデル、文書、ライブラリ)変更の記録と問題の時期を突き合わせる
今、何が記録されているか足りないものから優先して足す
入力や回答に個人情報が含まれるか記録の保存方法と、見られる人の範囲
利用者からの評価を集めているか品質の変化を測る材料になる
商用 LLM の API を使っているか提供側でのモデルの更新が、気づかないうちに起きている可能性

2. 全体の構成

トレース:1件の処理を追えるようにする

1件の質問について、どの処理を、どの順で、何を入力して何が返ったかを、ひとまとまりの記録(トレース)として残します。処理の段ごとに区切り(スパン)を作ります。

  • 質問の言い換え:入力、出力
  • 検索:検索した文、返った文書の ID と点数
  • 並べ替え:選ばれた文書
  • LLM の呼び出し:使ったプロンプトの版、モデル、入力と出力のトークン数、時間、出力
  • ツールの呼び出し:道具の名前、引数、結果、エラー

OpenTelemetry のような標準の仕組みで記録しておくと、既存の監視の基盤とつなげやすくなります。LLM 向けのトレースを見やすく表示するツール(Langfuse など)を使う方法もあります。

プロンプトの版を必ず記録するのがポイントです。プロンプトをコードの外で書き換える運用にしていると、どの版で出た回答かが分からなくなります。

指標:数字で変化をつかむ

種類指標
応答時間最初のトークンまでの時間、全体の時間(段ごとに分ける)
費用呼び出しごと、機能ごと、顧客ごとのトークン数と費用
失敗API のエラー、上限超過、タイムアウト、出力の形式の誤り
品質の代わりになる数字「分かりません」と答えた割合、検索の最上位の点数、低評価の割合、人への引き継ぎ率、言い直しの多さ

応答時間と費用の考え方はLLM アプリの費用と応答時間、上限超過の扱いは多くの人が使うときの流量制御で解説しています。

品質の見張り

品質は直接の数字が取りにくいので、2つの方法を組み合わせます。

  1. 本番の一部を自動で採点する:毎日、本番の回答から一定数を抜き出し、「根拠に沿っているか」などを LLM で採点して推移を見る
  2. 固定の質問を定期的に流す:評価データの一部を毎日本番の環境に流し、点数の変化を見る。利用者の質問の変化と、システムの変化を切り分けられる

採点の作り方と信頼性の確かめ方はLLM アプリの評価の仕組みで扱っています。

個人情報の扱い

入力と回答を記録すると、個人情報や機密も記録されます。記録する前に、メールアドレスや電話番号などを伏せ字にする、記録を見られる人を絞る、保存期間を決めて自動で消す、といった扱いを決めます。顧客ごとに記録を分け、他の顧客の担当者から見えないようにします。

3. 今回の問題の調べ方

エラーも応答時間も変わらないのに品質が落ちた、という状況では、次の順で調べます。

  1. 変更の記録と突き合わせる:プロンプト、文書の取り込み、ライブラリ、検索の設定の変更を、問題が出始めた日と照らす
  2. 品質の代わりの数字を見る:「分かりません」の割合や検索の点数が変わった時期を探す
  3. 低評価の回答のトレースを読む:検索で正しい文書が取れているかを確かめる。取れていなければ検索や取り込みの問題、取れていれば生成の問題
  4. 固定の質問の点数を見る:点数が下がっていればシステム側の変化、下がっていなければ利用者の質問の傾向の変化を疑う

たとえば、文書の取り込みの処理でライブラリが更新され、PDF の表が崩れて取り込まれていた、ということは実際に起こります。この場合、トレースで検索結果の文書の中身を見れば気づけます。

4. 深掘りの質問と答え方

「全部記録すると、費用がかかりすぎます」

メタデータ(時間、トークン数、エラー)は全件、本文は一部を抜き出して保存する、と答えます。ただし、低評価やエラーになった処理は全件残します。

「質問の傾向の変化には、どう気づきますか」

質問を埋め込みで分類し、種類ごとの件数の推移を見ます。新しい種類の質問が増えていれば、文書の追加や評価データの更新が必要です。機械学習のモデルで入力の分布の変化を見る考え方と同じで、モデルのドリフトの議論が参考になります。

「アラートは、何に設定しますか」

エラー率と応答時間に加えて、1時間あたりの費用、「分かりません」の割合、低評価の割合の急な変化に設定します。品質の数字は日によるばらつきが大きいので、すぐに担当者を起こすほどの重さにはせず、翌朝に確認する扱いにすることが多い、と現実的な運用も添えます。

面接官が見ていること

  • エラーにならない品質の劣化を、どう捉えるかを考えているか
  • 1件の処理を、段ごとに追える記録を設計できるか
  • プロンプトの版、文書の更新などの変更を、記録と結び付けているか
  • 個人情報の扱いまで含めて設計しているか

SRE や運用監視の経験は、この題材でそのまま強みになります。

まとめ

LLM アプリの運用監視は、段ごとのトレース、応答時間・費用・失敗・品質の代わりの指標、本番の一部の自動採点と固定の質問による品質の見張り、個人情報の扱いの4つで組み立てます。品質が落ちたときは、変更の記録と突き合わせ、検索と生成のどちらの問題かを切り分けて調べます。運用の経験を生成AIの面接でどう話すか迷ったら、ジンベイにご相談ください。

あわせて読みたい