Azure DatabricksでRAG基盤と即時データ活用
元記事公開日: -
出典: https://www.microsoft.com/ja-jp/customers/story/26298-tokyo-electron-azure-databricks
Azure Databricksで16システムのデータを15分サイクルで収集し、メダリオンアーキテクチャで品質を整え、Power BIで可視化・分析する。整備済みデータを生成AIのRAG基盤に用い、2025年9月に初回リリースした。データの流れも可視化しやすくなっている。
背景
東京エレクトロンでは、開発から生産製造まで多岐にわたる部門のデータに加え、顧客に納入した装置からもデータを収集している。半導体市場の成長に伴い、半導体製造装置に対する要求・要望が増え、現場で生まれるデータを活用する動きが加速した。従来のデータ基盤は複数のデータベースとETLツールで構成され、運用管理が煩雑だったため、データを資産として迅速に使いにくく、個人のスプレッドシートに埋もれるデータもあった。
要望・目的
データを収集・蓄積するだけでなく、二次利用・三次利用するための新たなデータ基盤を検討した。社内にはAzureの運用環境があり、他のAzure PaaSと連携しやすいこと、フルマネージドサービスによる低い運用負荷、ワークロードに応じた柔軟な拡張性が採用条件となった。社内の業務データをAI Data Platformへ統合し、技術・品質・フィールド・調達・SCM・文書・手順書・FAQなどを取り込むRAG環境の実現も目指している。
実装・実施内容
2019年12月にAzure Databricks導入の検討を本格化し、2020年3月にマイクロソフトの支援を受けてPoCを開始した。Azureサービスとの連携性とAzure Databricksのスケーラビリティを検証し、2020年10月頃から一部ユーザーへ提供した。ユーザーごとに個別設計せず、Azure Databricksやデータベースを組み合わせたテンプレートで提供している。RAG基盤は2023年4月に旧システムからの移行を始め、2025年9月に初回リリースした。
AIサービス・システム
Azure DatabricksをRAGのデータ基盤として構築・運用している。SAPなどを含む16システムから最新データを15分サイクルで収集し、生データをメダリオンアーキテクチャのブロンズ、シルバー、ゴールドの3レイヤーで整備する。整備済みデータはPower BIで可視化・分析し、Delta Sharingでグローバルに標準化したデータ共有モデルを実現している。Unity Catalogではアクセス管理を統合し、データの由来と処理の流れを確認できる。
結果・効果
データ基盤をAzure Databricksへ統合することで、データの流れを可視化しやすくなり、データフローの設計・実装も行いやすくなった。フレッシュなデータをほぼリアルタイムで活用できる基盤が整いつつある。夜間バッチの処理時間は短縮中だが、旧システムとの並行稼働中のため効果は限定的であり、完全切替後には半減する見込みである。今後はAzure DatabricksをコアとするAI Data Platformを全社標準のデータ基盤にする計画である。