Azure Databricks

Azure Databricksは、マイクロソフトのクラウド「Azure」上で提供される、データの蓄積・加工・分析や機械学習のためのプラットフォームです。オープンソースの分散処理技術を土台に、大規模なデータ処理をチームで進めやすくする仕組みがそろっています。

社内のあちこちに散らばったデータを一か所に集め、きれいに整えてから、分析やAIの材料として使う場面でよく登場します。計算資源を必要な分だけ伸ばせるため、日々の集計から重い学習処理まで、同じ基盤の上で扱えるのが特徴です。データベースや可視化ツール、生成AIの仕組みと連携して、データを二次利用・三次利用するための中核として選ばれることが多いです。

実例

「Azure DatabricksでRAG基盤と即時データ活用」では、東京エレクトロンがAzure Databricksをデータ基盤として導入し、SAPなどを含む16システムから最新データを15分サイクルで収集している。生データはメダリオンアーキテクチャのブロンズ、シルバー、ゴールドの3レイヤーで整備し、Power BIでの可視化・分析や、Delta Sharingによるデータ共有、Unity Catalogによるアクセス管理とデータの由来確認に用いている。

同事例では、整備済みデータを生成AIのRAG基盤にも使い、2025年9月に初回リリースした。旧システムとの並行稼働中は効果は限定的としつつ、データ基盤をAzure Databricksへ統合したことでデータの流れが可視化しやすくなり、データフローの設計・実装も行いやすくなったとしている。今後はAzure DatabricksをコアとするAI Data Platformを全社標準のデータ基盤にする計画である。