磚體係結構概述

Databricks統一數據分析平台,由Apache Spark的最初創造者Beplay体育安卓版本提供,使數據團隊能夠協作,以解決一些世界上最棘手的問題。

高級體係結構

Databricks的結構支持安全的跨職能團隊協作,同時保持大量的後端服務由Databricks管理,因此您可以專注於您的數據科學、數據分析和數據工程任務。

Databricks是一家控製飛機和一個數據平麵

  • 控製平麵包括Databricks在其自己的穀歌雲帳戶中管理的後端服務。筆記本命令和許多其他工作空間配置存儲在控製平麵中,並在靜止時進行加密。

  • 數據平麵由您的穀歌Cloud帳戶管理,是您的數據所在的位置。這也是處理數據的地方。您可以使用Databricks連接器,以便您的集群可以連接到它外部數據源在您的穀歌Cloud帳戶外攝取數據或進行存儲。也可以從外部獲取數據流數據來源,如事件數據、流數據、物聯網數據等。

下圖表示Databricks在穀歌Cloud上的數據流:

磚結構

您的數據存儲在數據平麵的穀歌Cloud帳戶中,並且存儲在您自己的數據源中,而不是控製平麵中,因此您保持對數據的控製和所有權。

工作結果存儲在你的帳戶中。

交互式筆記本結果存儲在控製平麵(用於在UI中顯示的部分結果)和您的穀歌雲存儲的組合中。如果希望交互式筆記本結果隻存儲在雲帳戶存儲中,可以要求Databricks代表啟用交互式筆記本產生了客戶帳戶為你的工作空間。注意,一些關於結果的元數據,如圖表列名,繼續存儲在控製平麵中。此功能已在公共預覽