職務経歴書
2026年11月16日現在
氏名 渡辺 大輔
■ 職務要約
大学卒業後、広告配信の株式会社〇〇で10年あまり、1日約30億件の配信ログを処理する基盤の開発・運用を担当し、Hadoop から BigQuery への移行をリードしました。2022年からは法人向け生成AIアシスタントのスタートアップで、顧客企業の文書を取り込むパイプラインと、利用ログから評価データを作るしくみを開発しています。文書の更新が検索に反映されるまでの時間を約24時間から15分に縮め、評価データを3か月で6倍に増やしました。
■ 活かせる経験・知識・技術
- 大量データのパイプラインの設計・運用(バッチとストリーミング、1日数十億件規模)
- PDF・Office 文書の取り込みと前処理(表の抽出、変更分だけの取り込み、削除の反映)
- 利用ログを評価データ・改善の材料に使える形に整えるしくみづくり
- 顧客ごとのデータの分離、閲覧権限の引き継ぎ、個人情報の置き換え
■ テクニカルスキル
| 言語 | Python(11年8か月)、SQL(11年8か月)、Java(7年3か月)、Scala(7年3か月) |
|---|---|
| フレームワーク・ライブラリ | Apache Spark(7年3か月)、Apache Kafka(7年3か月)、Apache Airflow(4年5か月) |
| 機械学習・生成AI | 埋め込みモデル(1年9か月)、OpenSearch(1年9か月) |
| データベース | BigQuery(9年11か月)、Hadoop(7年3か月)、PostgreSQL(1年9か月) |
| OS・クラウド・インフラ | Google Cloud(9年11か月)、Linux(7年3か月)、AWS(4年5か月)、Docker(1年9か月) |
| ツール | dbt(2年8か月)、Great Expectations(2年8か月)、Terraform |
■ 職務経歴
事業内容:法人向けの生成AIアシスタント(社内文書の検索・回答、議事録・報告書の作成) 従業員数:約90名 雇用形態:正社員
所属・役職:プラットフォーム部 データチーム リーダー(2024年4月〜)
| 2022年7月〜2024年3月 | 顧客企業の文書を取り込むパイプラインの開発 顧客企業のファイル共有サービスや社内 Wiki から文書を取り込み、分割・埋め込みをして検索できるようにするパイプライン。顧客企業約150社・合計約1,200万ファイルを扱う。 【役割】メンバー(パイプラインの主担当) 【規模】チーム4名/全体30名 【担当工程】基本設計、詳細設計、実装・単体テスト、結合テスト、保守・運用、データ整備 【取り組み】
【成果】
【使用技術】Python、SQL、Apache Airflow、埋め込みモデル、OpenSearch、PostgreSQL、AWS、Docker |
| 2024年4月〜現在 | 利用ログの基盤と評価データづくりのしくみ 質問・回答・参照文書・評価ボタンのログを分析できる形に整え、機械学習のチームが評価データや改善の材料に使えるようにした。 【役割】リーダー 【規模】チーム3名/機械学習チーム6名が利用 【担当工程】要件定義、基本設計、詳細設計、実装・単体テスト、保守・運用、データ整備 【取り組み】
【成果】
【使用技術】Python、SQL、Apache Airflow、BigQuery、AWS、Google Cloud、dbt、Great Expectations |
事業内容:インターネット広告の配信プラットフォーム 従業員数:約500名 雇用形態:正社員
所属・役職:データ基盤部
| 2015年4月〜2022年6月 | 配信ログ基盤の開発・運用と BigQuery への移行 1日約30億件の広告の配信・クリックのログを集め、入札の最適化と広告主向けのレポートに使う基盤。2019年に自社運用の Hadoop から BigQuery へ移行した。 【役割】メンバー(2019年から移行プロジェクトのリーダー) 【規模】チーム6名/全体40名 【担当工程】要件定義、基本設計、詳細設計、実装・単体テスト、結合テスト、保守・運用 【取り組み】
【成果】
【使用技術】Java、Scala、SQL、Python、Apache Spark、Apache Kafka、Hadoop、BigQuery、Google Cloud、Linux |
■ 資格
- 2019年9月 Google Cloud Professional Data Engineer
- 2016年10月 データベーススペシャリスト試験
■ 社外での活動
- 技術ブログで「RAG の文書の取り込みを差分で回す」を執筆(2024年)
■ URL
- GitHub:https://github.com/example
■ 自己PR
データの不具合は、利用者が気づく前に見つけるものだと考えています。広告配信の基盤では、集計の誤りが広告主への請求に直結するため、件数や欠損を毎日確かめるしくみを整えてきました。今の会社でも同じ考え方で、文書の取り込みの成否とログの品質を毎日確かめ、異常があればすぐに分かるようにしています。
生成AIのプロダクトは、どのデータを渡すかで回答の質が決まります。今後も、AI のプロダクトの精度を支えるデータの流れを作っていきたいと考えています。
以上
