jinbay無料で相談する

AIエンジニアの面接対策

「オフラインでは良いのに本番で精度が出ません」|学習時と推論時のずれの面接対策

MLOps・機械学習エンジニアの面接で聞かれる、学習時と推論時のずれ(training-serving skew)について、主な原因、見つけ方、特徴量ストアやログからの学習データ作成などの防ぎ方と、深掘りの質問への答え方を解説します。

更新日 2026年11月16日 / 書いた人 上田 英介(ジンベイ株式会社 代表取締役/職業紹介責任者)

「オフラインの評価では良かったのに、本番に出したら精度が出ない」。機械学習を本番で動かしたことがある人なら、一度は経験している問題です。その原因の中でも多いのが、学習のときと推論(本番での予測)のときで、モデルに入るデータが違ってしまう「学習時と推論時のずれ(training-serving skew)」です。

MLOps エンジニアや機械学習エンジニアの面接では、この問題を通して、モデルだけでなくデータの流れ全体を設計できるかが見られます。この記事では、答えの骨組み、深掘りの質問、よくある失敗、経験の話し方を解説します。

よく聞かれる質問

  • 学習時と推論時のずれとは何ですか。どんな原因がありますか
  • オフラインでは良いのに本番で精度が出ません。何から調べますか
  • ずれを起こさないために、仕組みとしてどうしますか
  • ドリフトとの違いは何ですか

答えの骨組み

まず、ドリフトとの違いをはっきりさせます。

  • 学習時と推論時のずれ:同じ入力に対して、学習のときと本番のときで、モデルに渡る特徴量が違う。作り方の不一致なので、バグに近い
  • ドリフト:作り方は同じだが、世の中のデータの分布が変わった(モデルの劣化への対処)

そのうえで、原因を4つの種類で整理します。

種類例
コードの違い学習は Python のノートブック、推論はサーバー側の別言語で書き直し、欠損値の埋め方や丸め方が違う
データの元の違い学習はデータウェアハウスの確定値、推論は API のリアルタイムの値。単位や更新のタイミングが違う
時点の違い学習では後から確定した値を使ったが、推論の時点ではまだ値がない、または遅れて届く
前処理の状態の違い標準化の平均・分散、語彙の辞書、カテゴリの対応表が、学習時と本番で違う版になっている

最後に、防ぎ方を「同じコードを使う」「本番のデータで学習する」「比べて監視する」の3つで答えます(後の節で詳しく説明します)。

深掘りの質問と答え方

「本番で精度が出ません。何から調べますか」

順番を答えます。

  1. 同じ入力で比べる:本番で実際に受け取った入力と、そのときモデルに渡した特徴量を記録しておき、同じ入力を学習用の処理に通して作った特徴量と1行ずつ比べる。ずれていれば、学習時と推論時のずれ
  2. 特徴量ごとの分布を比べる:学習データと本番の特徴量の分布(欠損の割合、平均、カテゴリの割合)を比べる。欠損の割合が急に違う列は、取得の失敗を疑う
  3. 予測の分布を比べる:本番の予測スコアの分布が、検証データのものと大きく違うかを見る
  4. 正解ラベルが揃ったら精度を比べる:ラベルが遅れて届く業務では、ここは数週間後になる

1の「同じ入力で比べる」ができるように、推論のときの特徴量を記録する仕組みを最初から作っておくことが大事だと添えると、評価が上がります。

「仕組みとして、どう防ぎますか」

  • 前処理を同じコードにする:前処理をモデルと一緒に保存する(scikit-learn の Pipeline、モデルの中に前処理の層を含める)。推論側でコードを書き直さない
  • 特徴量ストアを使う:特徴量の定義を1か所に置き、学習用(過去の時点を指定して取り出す)と推論用(最新の値を低い遅延で取り出す)の両方に同じ定義から出す
  • 本番の記録から学習データを作る:推論のときに使った特徴量をそのまま記録し、後で届いた正解ラベルと結合して学習データにする。ずれが原理的に起きにくい。ただし、新しい特徴量を足したときは過去の記録がないので、しばらく貯める必要がある
  • 前処理の状態に版を付ける:語彙の辞書や標準化の値をモデルと同じ版で管理し、MLflow などのモデル管理で一緒に記録する

それぞれに費用があるので、「チームが小さいうちは前処理をモデルと一緒に保存するところから始め、特徴量を使うモデルが増えたら特徴量ストアを検討する」のように、段階を付けて答えると現実的です。

「リアルタイムの特徴量で、特に起きやすいことは」

  • 集計の窓のずれ:学習ではバッチで「直近1時間」を正確に計算したが、本番のストリーム処理では遅れて届くイベントが入らない
  • 値の届く遅れ:学習では同じ時刻の値を使えたが、本番では数分遅れて届く。学習データを作るときも、その遅れを再現する
  • タイムアウトの扱い:特徴量の取得に失敗したとき、本番では既定値を入れているが、学習データにはそういう行がない

「画像や文章のモデルでも起きますか」

起きます。画像なら、学習データはきれいに切り出した JPEG だったが、本番はカメラから直接の画像で色の並び(RGB と BGR)、圧縮、解像度、明るさの処理が違う。文章なら、学習時と本番で文字の正規化(全角・半角、改行の扱い)やトークナイザーの版が違う、といった例があります。画像認識の経験がある人は、この例を話すと具体的になります。

よくある失敗

書き換える前 本番で精度が落ちたので、最新のデータで再学習しました。

原因を調べずに再学習しているので、ずれが原因なら直りません。再学習で一時的に良くなっても、また同じことが起きます。

書き換えた後 本番の入力を学習用の処理に通して特徴量を比べたところ、欠損値の埋め方が学習では中央値、本番では0になっていました。前処理をモデルと一緒に保存する形に変え、推論側の書き直しをやめました。あわせて、特徴量ごとの欠損の割合を日次で監視するようにしました。

ほかにも次のような失敗があります。

  • 推論のときの特徴量を記録しておらず、後から原因を調べられない
  • 前処理の辞書を更新したのに、モデルは古い辞書で学習したまま
  • 学習データの抽出で、テスト用のアカウントや社内の利用を除いたが、本番ではそれも予測している

実務の経験の話し方

この題材は、実際に起きた障害を話すのが一番伝わります。「何に気づいたきっかけ → 調べ方 → 原因 → 直したこと → 再発防止」の順で話します。

再発防止の部分で、仕組み(同じコードの共有、記録、監視)まで話せると、MLOps の面接では大きな強みになります。バックエンドの経験がある人は、API の入出力の記録や、データの型の検証(スキーマの検証)を入れた経験を、そのまま活かして話せます。

まとめ

  • 学習時と推論時のずれは作り方の不一致で、分布が変わるドリフトとは分けて考える
  • 原因はコード、データの元、時点、前処理の状態の4種類で整理する
  • 調べるときは、同じ入力で特徴量を1行ずつ比べるのが一番早い
  • 防ぎ方は、同じコード、本番の記録から作る学習データ、監視の3つ

MLOps への転身を考えていて、これまでの経験をどう話すか迷ったら、ジンベイ AIタレントに相談してください。

あわせて読みたい