jinbay無料で相談する

AIエンジニアの面接対策

「シミュレーションでは成功するのに、実機では失敗します」|Sim2Real の面接対策

ロボット学習・シミュレーションの面接で聞かれる Sim2Real(シミュレーションと実機の差)について、差が生まれる原因、ドメインランダマイゼーション、システム同定、実機データでの調整、差の測り方まで、答え方を解説します。

更新日 2026年11月16日 / 書いた人 上田 英介(ジンベイ株式会社 代表取締役/職業紹介責任者)

ロボットの学習では、実機で何万回も試すことは難しいので、シミュレーションで学習や検証をすることが多くなりました。ところが、シミュレーションでは成功率9割の方策(ロボットの動かし方を決めるモデル)が、実機では半分も成功しない、ということがよく起きます。この差を埋めるのが Sim2Real(シミュレーションから実機への移行)の課題です。

ロボット学習やシミュレーションの仕事の面接では、「なぜ差が出るのか」「どう埋めるのか」「差が埋まったことをどう確かめるのか」がよく聞かれます。この記事では、答えの骨組み、深掘りの質問、よくある失敗、経験の話し方を解説します。

よく聞かれる質問

  • シミュレーションと実機の差は、どこから生まれますか
  • ドメインランダマイゼーションとは何ですか。何をランダムにしますか
  • ランダムにする幅は、どう決めますか
  • シミュレーションと実機の差を、どうやって測りますか
  • 実機のデータは、どう使いますか

答えの骨組み

まず、差の原因を3つに分けて説明します。

種類例
物理の差摩擦、接触、質量と慣性、関節の遊び(バックラッシ)、ケーブルの張力、柔らかい物体の変形
センサーの差画像の見た目(照明、反射、質感)、深度のノイズと欠け、カメラの取り付け位置のずれ、時刻の遅れ
動かす側の差モーターの応答の遅れ、トルクの上限、制御周期、通信の遅れ

そのうえで、差を埋める方法を3つの方向で答えます。

  1. シミュレーションを実機に近づける:システム同定で物理のパラメータを測り、シミュレーターに入れる。アクチュエーターの応答をモデル化する
  2. 差があっても動く方策にする:ドメインランダマイゼーションで、パラメータや見た目をばらつかせて学習する
  3. 実機のデータで直す:少量の実機データで追加学習する、実機での誤差を補正するモデルを足す

「どれか1つではなく、まず近づけ、残りをランダムにして、最後に実機で直す」という順で組み合わせる、と答えると筋が通ります。

深掘りの質問と答え方

「ドメインランダマイゼーションで、何をランダムにしますか」

課題によって変えます。

  • 物体をつかむ課題:物体の質量・摩擦・大きさ、置かれた位置と向き、カメラの位置のわずかなずれ、照明と背景、物体の色と質感
  • 歩行の課題:地面の摩擦と凹凸、胴体の質量、モーターの強さ、観測の遅れとノイズ、外から押される力

ランダムにするのは見た目と物理の両方で、さらに観測の遅れとノイズを入れることが大事です。実機では、センサーの値は少し遅れて、ノイズを含んで届くからです。

「ランダムにする幅は、どう決めますか」

幅が狭すぎると実機の条件が範囲の外になり、広すぎると学習が難しくなって性能が下がります。決め方は次のとおりです。

  • 測れるものは実機で測り、その誤差の範囲を中心に幅を決める
  • 学習の進み具合に合わせて幅を少しずつ広げる(カリキュラム)
  • 実機での結果をもとに、どのパラメータの幅が足りないかを調べて直す

「全部を大きくばらつかせればよい」ではないことを言えると、実際に試した人だと伝わります。

「システム同定とは、何をしますか」

実機を決まった入力で動かして応答を記録し、シミュレーターで同じ入力を入れたときに、応答が一致するようにパラメータ(摩擦、慣性、モーターの時定数など)を合わせる作業です。モーターの応答の遅れや非線形な特性は、シミュレーターの理想的なモデルでは表せないことが多いので、実機のデータから学習したモデルでアクチュエーターを表す方法もあります。

制御の経験がある人は、ここで制御の安定性で扱うような周波数応答の測定の経験を話せます。

「差を、どうやって測りますか」

  • 同じ動きで比べる:同じ指令の列を実機とシミュレーターに入れ、関節角度や物体の位置の軌跡の差を測る
  • 同じ評価で比べる:シミュレーションと実機で、同じ条件の評価の試行を決めておき、成功率を比べる。実機の試行は少ないので、成功率の信頼区間も出す(20回中14回成功なら、7割と言い切るには幅が大きい)
  • 失敗の分類:実機での失敗を、つかみ損ね、位置のずれ、衝突などに分けて記録し、どの差が原因かを推定する

実機での評価の回数と条件を事前に決めておくことは、評価の設計として面接官が特に見るところです。

「画像の見た目の差は、どう埋めますか」

見た目のランダマイゼーションに加え、画像そのものではなく、物体の位置や深度、分割の結果など、シミュレーションと実機で差の小さい中間の表現を方策に入れる方法があります。深度は見た目より差が小さい一方、実機の深度センサーは反射や透明な物体で欠けるので、その欠けもシミュレーションで再現します。

「実機のデータは、どう使いますか」

  • シミュレーションで学習した方策を、実機で集めた少量のデータで追加学習する
  • 人が遠隔操作で示した実機のデータ(デモンストレーション)を、シミュレーションのデータと混ぜて学習する
  • 実機の結果を使って、シミュレーターのパラメータを直す

実機の試行は費用と時間がかかり、ロボットや周りを壊す危険もあるので、安全のための制限(速度と力の上限、可動範囲)と、自動で元の状態に戻す仕組みが必要だと添えると良いです。

よくある失敗

書き換える前 Isaac Sim でドメインランダマイゼーションを使って学習し、実機に移しました。

どんな差があり、何をどの幅でランダムにし、実機で何回試してどれだけ成功したかが分かりません。

書き換えた後 箱の把持の方策を Isaac Sim で学習しました。最初は実機の成功率が45%で、失敗の多くは箱が手の中で滑ることでした。摩擦を実機で測り、摩擦と箱の質量の幅を広げ、観測に40ミリ秒の遅れを入れて学習し直したところ、同じ条件の50回の試行で成功率は82%になりました。

ほかには、次のような失敗が多く見られます。

  • シミュレーションの成功率だけを報告し、実機の評価の回数と条件を決めていない
  • 何でも大きくランダムにして、学習が進まなくなる
  • 制御周期や観測の遅れを、シミュレーションと実機で揃えていない

実務の経験の話し方

Sim2Real の経験は、「最初にどれだけ差があったか → 原因をどう特定したか → 何を変えたか → 実機でどうなったか」の順で、数字を入れて話します。成功しなかった試みも含めて話すと、試行の過程が伝わります。

ゲームエンジンの経験がある人は、見た目や物理の再現、シーンの自動生成の経験を、機械学習の経験がある人は、データの分布の差(ドメインシフト)を扱った経験を、それぞれ Sim2Real の言葉に置き換えて話せます。

まとめ

  • 差の原因は、物理、センサー、動かす側の3つに分けて説明する
  • 埋め方は、近づける(システム同定)、ばらつかせる(ドメインランダマイゼーション)、実機で直す、の組み合わせ
  • ランダムの幅は、測った誤差を中心に決め、実機の結果で直す
  • 差は同じ動き・同じ評価で測り、実機の評価の回数と条件を事前に決める

ロボット学習やシミュレーションの仕事に興味があり、これまでの経験がどう活きるかを知りたい人は、ジンベイ AIタレントで相談を受け付けています。

あわせて読みたい