jinbay無料で相談する

AIエンジニアへの転身ガイド

インフラ・SREから生成AIエンジニアへ|GPU・推論サーバー・費用監視で活きる経験

インフラエンジニア・SRE が生成AIの開発に移るときに活きる経験(GPU、推論サーバー、流量制御、費用監視)と、足りない経験の埋め方、学ぶ順番、職務経歴書の書き換え例をまとめました。

更新日 2026年11月16日 / 書いた人 上田 英介(ジンベイ株式会社 代表取締役/職業紹介責任者)

生成AIのサービスを本番で動かすと、インフラの課題が一気に増えます。GPU が確保できない、モデルの読み込みに数分かかって自動スケールが間に合わない、外部の LLM の API が流量制限で失敗する、月末に請求額を見て驚く、といったことです。

これらはどれも、インフラや SRE の仕事の延長にあります。一方で、CPU 中心の Web サービスと同じ考え方では通用しない部分もあります。この記事では、そのまま活きる経験と、新しく覚える必要がある部分を分けて説明します。

なお、学習の基盤やモデルの管理まで含めた MLOps への転身は、SRE から MLOps エンジニアへで別にまとめています。この記事は、LLM を使ったサービスの推論と運用に絞ります。

そのまま活きる経験

これまでの経験生成AIの開発での使われ方
Kubernetes・コンテナ運用GPU ノードの管理、推論サーバーの配置。NVIDIA の GPU Operator や KServe などを使う
自動スケール何を基準に増やすかが変わる。CPU 使用率ではなく、待ち行列の長さや GPU メモリの使用率を見る
流量制御・負荷分散外部 API の制限(1分あたりのリクエスト数・トークン数)に合わせた制御。利用者ごとの上限
監視・SLO最初の1文字が返るまでの時間(TTFT)、1秒あたりの生成トークン数、失敗率を SLO にする
費用管理(FinOps)トークン数と GPU の稼働時間を、機能別・顧客別に集計する
閉域網・セキュリティ社外にデータを出せない企業向けに、自社環境で LLM を動かす

GPU と推論サーバーで新しく覚えること

GPU メモリの使われ方

LLM の推論では、GPU メモリの大半をモデルの重みと KV キャッシュ(生成中の文脈を保持する領域)が占めます。同時に処理するリクエストが増えたり、入力が長くなったりすると KV キャッシュが足りなくなり、処理待ちが発生します。「GPU 使用率は低いのに遅い」という状況は、ここが原因であることが多いです。

nvidia-smi で見えるのは表面的な値だけなので、DCGM Exporter で Prometheus に指標を集め、推論サーバー側の KV キャッシュ使用率と並べて見るのが一般的です。

推論サーバー

公開されているモデルを自社で動かすときは、vLLM、TensorRT-LLM、Triton Inference Server、Text Generation Inference などを使います。性能を左右するのは次のような設定です。

  • 連続バッチ処理:複数のリクエストを1つずつ待たずにまとめて処理する。スループットは上がるが、個々の応答時間とのかね合いがある
  • 入力の処理と出力の生成:長い入力を読み込む段階(prefill)と、1トークンずつ出す段階(decode)で性質が違い、遅さの原因の切り分けに使う
  • 量子化:モデルを軽くして GPU の台数を減らせるが、精度が下がることがある
  • テンソル並列:1つのモデルを複数の GPU に分けて載せる

スケールの遅さ

モデルの重みは数十GBあることも多く、新しい Pod が上がって応答できるまでに数分かかります。Web サービスのように「負荷が上がってから増やす」では間に合いません。重みをノードのローカルディスクに置いておく、最低台数を多めに確保する、時間帯で事前に増やす、といった工夫が必要です。GPU の確保そのものが難しいクラウドもあるので、利用枠の申請や予約も仕事に含まれます。

外部 LLM の API を使うときの運用

自社で GPU を持たず、商用 LLM の API だけを使う会社も多くあります。この場合も SRE の出番は多いです。

  • 流量制御:API の上限はリクエスト数だけでなくトークン数でもかかります。大口の顧客1社が長い文書を投げ続けると、他の顧客まで失敗します。顧客ごとのトークン数の上限と、優先度つきの待ち行列が要ります。
  • 切り替え:提供元の障害に備えて、別のリージョンや別の提供元へ切り替える仕組み。ただし、モデルが変わると答えの質も変わるので、切り替え先でも評価データで質を確かめておく必要があります。
  • 費用監視:同じ機能でも、入力に含める文書の量で費用が数倍変わります。リクエストごとにトークン数を記録し、機能別・顧客別に集計できるようにしておくと、価格設定の判断材料にもなります。

足りない経験と、埋め方

1. 精度の変化に気づく仕組み

インフラの変更が答えの質を変えることがあります。量子化の方式を変えた、推論サーバーの版を上げた、外部 API のモデルの版が切り替わった、といった変更です。エラーは出ないので、従来の監視では気づけません。評価データでの正答率を、デプロイの前後に自動で測る仕組みを作れると、SRE 出身者として強く評価されます。

2. LLM のアプリの中身

RAG(検索拡張生成)や AIエージェントがどう動くかを知らないと、遅い原因がモデルなのか、検索なのか、ツールの呼び出しの繰り返しなのかを切り分けられません。OpenTelemetry で LLM の呼び出しをトレースし、1つの質問の中で何回 LLM を呼んでいるかを見られるようにしておくとよいです。

3. Python

推論サーバーの設定や評価のスクリプトは Python が中心です。Go やシェルが中心だった人は、Python で負荷試験と評価のスクリプトを書けるようにしておいてください。

学ぶ順番

  1. 外部 LLM の API の前に、流量制御と費用記録をする中継サーバーを置く(2週間)。トークン数の記録と、利用者ごとの上限を作ります。
  2. クラウドの GPU インスタンスで、公開されているモデルを vLLM で動かす(2〜3週間)。同時接続数を変えながら、TTFT とスループットを測ります。
  3. Kubernetes に載せて監視を整える(2〜4週間)。GPU と KV キャッシュの指標を集め、何を基準に自動スケールさせるかを決めます。
  4. 評価データでの正答率を、デプロイの前後で比べる(2週間)。量子化の有無でどれだけ質が変わるかを記録します。

GPU の費用がかかるので、検証は時間を決めて行い、使い終わったらすぐ止めてください。

職務経歴書の書き換え例

職務要約

書き換える前 AWS 上のインフラ構築・運用に8年間従事。Kubernetes、Terraform を使用。

書き換えた後 月間数億リクエスト規模の Web サービスで、AWS と Kubernetes の基盤の設計・運用に8年間携わり、SLO の策定と障害対応の仕組みづくりを担当しました。2025年からは社内の生成AI機能の基盤を担当し、外部 LLM の API の前に流量制御と費用記録の層を置いて、顧客別の利用量を見えるようにしました。推論の性能と費用の両方に責任を持つ仕事に携わりたいと考えています。

プロジェクトの書き方

書き換える前 生成AI機能のインフラ構築を担当。

書き換えた後 公開されているモデルを vLLM で自社環境に構築。同時接続数ごとの TTFT を測って GPU の台数を決め、待ち行列の長さを基準にした自動スケールで、ピーク時の TTFT の95パーセンタイルを3.2秒から1.1秒に短縮しました。

数字は、応答時間、GPU の台数、月額の費用など、インフラの判断が効いたものを選びます。

応募先の選び方

  • 自社で LLM を動かしている会社:閉域網での提供を求める企業向けの製品や、費用の理由で外部 API から切り替えた会社です。GPU と推論サーバーの経験をいちばん積めます(設計の面接対策はオンプレミスの LLM の設計)。
  • SaaS の中の LLM 基盤チーム:複数のチームが使う LLM の呼び出し口を作り、流量、費用、監視をまとめて管理します。
  • GPU クラウドや推論の基盤を提供する会社:インフラそのものが製品で、性能の最適化を深く追えます。

まとめ

  • 生成AIの運用課題の多くはインフラの延長にあり、SRE の経験はそのまま活きる
  • ただし、GPU メモリ、推論サーバー、スケールの遅さ、トークン単位の流量制御は新しく覚える必要がある
  • 職務経歴書では、応答時間・GPU 台数・費用など、インフラの判断が効いた数字を書く

インフラの経験を生成AIの求人でどう見せるかは、応募先が外部 API 中心か自社 GPU 中心かで変わります。職務経歴書を見ながら一緒に整理します。

あわせて読みたい