AIエンジニアへの転身ガイド
データアナリストから生成AIエンジニアへ|評価と分析の強みを活かす転身
更新日 2026年11月16日 / 書いた人 上田 英介(ジンベイ株式会社 代表取締役/職業紹介責任者)
生成AIの開発でいちばん手薄になりやすいのが、評価です。プロンプトを変えた、検索のしくみを変えた、モデルを切り替えた、というたびに「良くなったのか」を判断しなければなりませんが、その判断を数字でできるチームは多くありません。
データアナリストは、まさにこの部分の専門家です。指標を決める、データを集める、偏りを疑う、結果を説明する、という仕事は、LLM の評価にそのまま当てはまります。この記事では、データアナリストの経験の活かし方と、開発の経験の補い方を説明します。
そのまま活きる経験
| これまでの経験 | 生成AIの開発での使われ方 |
|---|---|
| KPI・指標の設計 | 「正しい答え」の定義を決める。正答率、根拠の正しさ、回答を拒否した割合などに分けて測る |
| サンプリングと集計 | 本番の質問ログから、偏りなく評価データを抜き出す |
| 統計の見方 | 50問で3問増えた改善が、偶然の範囲かどうかを判断する |
| 要因分析 | 間違えた答えを種類別に分け、どこを直せば一番効くかを決める |
| SQL とダッシュボード | 利用ログ、評価結果、費用を集計し、チームが毎週見る画面にする |
| A/B テスト | 新しいプロンプトを一部の利用者に出し、利用の継続や評価ボタンの押され方で比べる |
評価データを作る力
評価データは、質問と正解の組を並べるだけでは足りません。本番でよく来る質問、まれだが間違えると困る質問、答えが文書にない質問(「分かりません」と答えるべき質問)を、意図した割合で含める必要があります。どの層をどれだけ入れるかを決めるのは、層別のサンプリングと同じ考え方です。
自動評価を疑う力
評価の手間を減らすために、LLM に答えの良し悪しを判定させる方法(LLM-as-a-judge)がよく使われます。ただし、判定役の LLM は長い答えを高く評価しがち、といった偏りがあります。人が付けた判定と LLM の判定がどれだけ一致するかを測り、一致しない部分を調べるのは、分析の経験がある人の得意分野です。
失敗の分類
正答率が70%だったとき、残り30%の内訳を出せるかどうかで改善の速さが変わります。検索で正しい文書を取れていない、文書は取れているが読み違えている、質問の意味を取り違えている、といった分類です。この分類を作り、それぞれの件数を追いかけることは、分析の仕事そのものです。
足りない経験と、埋め方
1. ソフトウェア開発の基本
データアナリストの Python は、ノートブックで完結していることが多いと思います。開発チームに入ると、Git でのコードの管理、レビュー、テスト、関数やモジュールに分けた書き方が求められます。評価のスクリプトを、他の人が CI(自動テストの仕組み)で毎回実行できる形にするところまでできると、評価の担当として一人前です。
2. LLM のアプリのしくみ
失敗の原因を分類するには、RAG(検索拡張生成)や AIエージェントがどの順に何をしているかを知っている必要があります。検索の段階と生成の段階を分けて測ることで、どちらを直すべきかが見えてきます。自分で一度作ってみるのが一番の近道です。
3. 自分で直す経験
分析で終わらず、プロンプトの修正や文書の分割方法の変更を自分で試し、数字が動くところまで見届けると、「評価もできる開発者」として見てもらえます。
学ぶ順番
- LLM の API を Python から呼ぶ(1週間)。ノートブックではなく、スクリプトとして書き、Git で管理します。
- 手元の文書で RAG を作る(2〜3週間)。自分の分野の公開資料など、正解を自分で判断できる文書を使います。
- 評価データを作り、失敗を分類する(2〜3週間)。50〜100問を用意し、検索の正しさと答えの正しさを分けて測ります。
- LLM による自動判定を作り、人の判定との一致率を測る(2週間)。一致しない例を読み、判定の基準を直します。
- 評価を自動で回す(1〜2週間)。GitHub Actions などで、変更のたびに正答率が出るようにします。
自然言語の質問から SQL を作る機能(Text-to-SQL)も、アナリストには取り組みやすい題材です。テーブルの意味や集計の落とし穴を知っているので、LLM が作った SQL の誤りを見抜けます。
職務経歴書の書き換え例
職務要約
書き換える前 EC サイトのデータ分析に5年間従事。SQL と Python を用いた分析、ダッシュボード作成を担当。
書き換えた後 EC サイトのデータ分析に5年間携わり、KPI の設計、A/B テストの設計と判定、施策の効果検証を担当しました。2025年からは社内の問い合わせ対応 AI の評価を担当し、本番ログから層別に抜き出した120問の評価データと失敗の分類を作って、正答率を64%から82%に高める改善の優先順位を決めました。評価の設計を軸に、生成AIのプロダクトの質を上げる仕事に携わりたいと考えています。
プロジェクトの書き方
アナリストの経験は、評価の言葉に置き換えると伝わりやすくなります。
- 施策の効果検証 → 「対照群を置いた比較と、偶然の差かどうかの判定」
- 指標の定義の整理 → 「部署ごとに違っていた指標の定義を統一し、判断の基準をそろえた」
- 異常値の調査 → 「数字の急な変化の原因を、データの取り方の変化と実際の変化に切り分けた」
書き換える前 生成AIの評価を担当。
書き換えた後 LLM による自動判定と、担当者2名による判定の一致率を測り、一致率が低かった「部分的に正しい答え」の基準を見直して、一致率を71%から89%に高めました。
応募先の選び方
- 評価の専任を置いている AI スタートアップ:AI評価エンジニア、AIクオリティの担当などの職種名で募集があります。分析の経験が最も直接に評価されます。
- 分析を AI で行う製品を作る会社:自然言語で集計できる BI ツールや、分析を代行する AIエージェントなど。アナリストの業務知識がそのまま製品の質になります。
- 生成AIの機能を持つ SaaS のプロダクトチーム:利用ログの分析と評価の両方を担い、AIプロダクトマネージャーに近い役割になることもあります。
開発の経験がまだ少ないうちは、「アプリを作る人」よりも「評価と改善を回す人」として応募するほうが通りやすいです。
まとめ
- 生成AIの開発で手薄な評価の仕事は、データアナリストの経験がそのまま活きる
- 評価データの設計、自動判定の検証、失敗の分類が、特に強みになる
- 足りないのはソフトウェア開発の基本と LLM のアプリのしくみで、自分で作って直す経験で埋める
評価の経験を求める求人は、職種名だけでは見つけにくいことがあります。今の経験に合う応募先を、職務経歴書を見ながら一緒に探します。
