Azure DatabricksによるRAGデータ基盤

元記事公開日: -

出典: https://www.microsoft.com/ja-jp/customers/story/26298-tokyo-electron-azure-databricks

AI活用の概要

Azure Databricksで社内外のデータを統合し、15分サイクルで収集したデータを品質別の3層に整備する。生成AIのRAG基盤としても運用し、フレッシュなデータのほぼリアルタイムな活用と、全社標準のAI Data Platform化を進めている。

背景

半導体の開発から生産製造まで多岐にわたる部門でデータが生まれ、半導体市場の成長に伴う要求の増加もあって、取り扱うデータは急増していた。従来のデータ基盤は複数のデータベースとETLツールで構成され、運用管理が煩雑だったため、データを資産として迅速に活用できず、個人のスプレッドシートに埋もれる例もあった。

要望・目的

収集・蓄積するだけでなく、データを二次利用・三次利用して資産へ変えるため、新たなデータ基盤の検討を始めた。既存のAzure環境やAzure PaaSと連携でき、フルマネージドサービスとして運用負荷を抑えながら、小規模から大規模までのワークロードに対応できることを採用条件とした。

実装・実施内容

2019年12月にAzure Databricks導入の検討を本格化し、2020年3月からマイクロソフトの支援を受けてPoCを実施した。Azureサービスとの親和性・連携とスケーラビリティを検証し、2020年10月頃に一部ユーザーへの提供を開始した。Azure Databricksとデータベースを組み合わせたテンプレートを作成し、ユーザーごとの個別設計ではなくテンプレートに基づいて提供している。

AIサービス・システム

Azure Databricksをデータ基盤の中核に置き、SAPを含む16システムから15分サイクルで最新データを収集している。生データはメダリオンアーキテクチャでブロンズ、シルバー、ゴールドの3層に分けて品質を高め、Power BIで可視化・分析する。生成AIのRAG基盤としても利用し、Unity Catalogではアクセス管理を統合できる点が優位性と評価されている。MLflowを使った統一指標での精度評価は今後の計画である。

結果・効果

ワークスペースを提供したプロジェクトは約20件に達し、データの流れを可視化しやすくなり、データフローの設計・実装も容易になった。フレッシュなデータをほぼリアルタイムで活用できる基盤を整備中である。夜間バッチは旧システムとの並行稼働中で効果が限定的だが、完全移行後は処理時間を半減できる見込みとされる。Azure DatabricksをコアにしたAI Data Platformの全社標準化は計画段階にある。