Serverless計算

serverless計算版本磚平台的體係結構,計算層存在於你的磚賬戶而不是你的AWS帳戶。Beplay体育安卓版本

磚SQL Serverless

磚SQL Serverless支持serverless計算。管理員可以創建serverless SQL倉庫(原SQL端點),使即時計算和由磚來管理。Serverless SQL倉庫在你的磚賬戶使用計算集群。與磚的SQL查詢使用它們就像你通常會與原customer-hosted SQL倉庫,現在稱之為經典SQL倉庫。

磚從SQL端點SQL倉庫改名,因為在這個行業,端點是指一個遠程計算設備與網絡的連接,或雲服務的入口點。數據倉庫是一種數據管理係統,將來自多個源的當前和曆史數據存儲在一個商業友好的方式更容易的見解和報告。SQL倉庫準確地描述這個計算資源的完整功能。

如果serverless SQL倉庫啟用您的帳戶,請注意以下幾點:

  • 新的SQL倉庫默認serverless當您創建的用戶界麵。新的SQL倉庫不是serverless默認情況下使用當您創建它們API,它要求您顯式地指定serverless。您還可以創建新的職業或經典SQL倉庫使用方法。倉庫類型默認值的更多信息,請參閱倉庫類型的缺省值是什麼?。

  • 你可以升級專業版或經典SQL倉庫serverless SQL倉庫或者一個經典的SQL倉庫支持SQL倉庫。你也可以從serverless降級到pro或經典。

  • 此功能僅影響磚的SQL。它不影響磚集群運行時使用筆記本和工作數據科學與工程或磚機器學習的空間環境。磚集群運行時總是運行在典型的數據平麵在AWS帳戶。看到Serverless配額。

如果你的賬戶需要更新使用條款,工作區管理員提示磚SQL的UI。

如果你的工作空間有一個AWS實例配置文件,您可能需要更新信任關係支持serverless計算,這取決於如何以及何時創建它。

區域支持,看到磚雲層和地區。

模型服務

模型服務部署MLflow機器學習(ML)模型和公開他們是REST API端點在磚帳戶運行。< ServerlessCompute >資源運行磚AWS資源被稱為serverless數據平麵。

相比之下,傳統模型服務架構是一個單節點集群,運行在AWS帳戶內的經典數據平麵。

  • 簡單的配置和計算資源管理針對生產環境:磚自動準備為您的模型及其計算便於開關配置。

  • 高可用性和可伸縮性端點:Serverless模型自動定量,這意味著服務器副本的數量自動調整基於評分的請求的數量。

  • 指示板:使用內置的serverless模型端點儀表板監控模型的健康端點使用指標如queries-per-second(每秒),延遲和錯誤率。

區域支持,看到磚雲層和地區。

您可以使用serverless模型服務之前,您必須的為您的帳戶啟用serverless計算。

Serverless配額

Serverless配額是Serverless計算的安全措施。Serverless配額限製多少Serverless計算資源客戶可以在任何給定的時間。配額實施區域層麵上對所有工作空間在您的帳戶。配額隻執行serverless SQL倉庫。看到Serverless配額。

比較serverless其他磚結構的計算

磚的運營控製飛機和一個數據平麵:

  • 磚的控製平麵包括後端服務管理的AWS帳戶。磚的SQL查詢,筆記本的命令,和許多其他工作區配置存儲在控製平麵和加密在休息的時候。

  • 飛機就是數據處理的數據集群的計算資源。

有重要的差異經典的數據平麵(原磚平台體係結構)的和Beplay体育安卓版本serverless數據平麵:

  • 對於一個典型的數據平麵,磚計算資源在AWS帳戶運行。集群執行分布式數據分析使用查詢(在磚SQL)或筆記本電腦(在數據科學與工程或磚機學習環境):

    • 在每個工作區創建新的集群的虛擬網絡客戶的AWS帳戶。

    • 一個典型的數據平麵自然隔離,因為它運行在每個客戶的AWS帳戶。

  • serverless數據平麵,磚計算資源的運行在一個計算層磚內賬戶:

    • serverless數據平麵用於serverless SQL倉庫和模型。使serverless計算不改變磚集群運行時數據科學與工程或磚機的工作學習環境。

    • 保護客戶數據在serverless數據平麵,serverless計算網絡內運行工作空間的邊界,與各層的安全隔離不同的磚客戶工作區和額外的網絡控製集群之間相同的客戶。

磚創建一個serverless數據平麵在同一AWS地區作為工作空間的經典數據平麵。

工作者節點是私人的,這意味著他們沒有公共IP地址。

磚之間的通信控製平麵和serverless數據平麵:

  • 對於磚SQL Serverless,通信使用私人連接。

  • 模型服務的通信使用mtl加密通信的連接發起控製平麵與IP地址訪問限製在控製飛機。

當閱讀或寫在同一地區AWS S3 bucket工作區,serverless SQL倉庫現在使用直接訪問S3使用AWS網關端點。這適用於當一個serverless SQL倉庫的讀和寫你的工作空間的根S3 bucket AWS帳戶和其他S3數據源在同一地區。

下麵的圖顯示了重要的區別serverless數據平麵和經典數據平麵的serverless特性。

比較經典和serverless數據平麵磚SQL
比較經典和serverless數據平麵模型

關於安全的集群連接的更多信息,這是在圖中所提到的,看到的安全集群連接。

下表總結了serverless差異計算和磚的經典數據平麵架構,關注產品的安全。它不是一個完整的解釋這些安全特性或詳細的比較。更多細節關於serverless計算安全,或如果你有問題關於物品在此表,請聯係您的磚的代表。

項

Serverless數據平麵(AWS)

經典的數據平麵(AWS和Azure)

控製平麵的位置的資源

磚雲賬戶

磚雲賬戶

數據平麵計算資源的位置

Serverless數據平麵(VPC磚AWS帳戶)

在客戶的經典數據平麵(VPC雲提供商賬戶)

數據平麵計算資源

Databricks-managed Kubernetes(的)集群

Databricks-managed獨立的虛擬機

客戶訪問數據平麵

通過磚控製飛機

  • AWS:直接訪問客戶的AWS帳戶。額外的間接訪問通過磚控製飛機。

  • Azure:直接隻讀訪問集群,即使VNet注入(customer-managed VNet)。額外的間接訪問通過磚控製飛機。

誰支付未賦值的vm磚SQL的嗎?

磚

不適用。對於職業和經典SQL倉庫,沒有未賦值的虛擬機的概念。在磚SQL,沒有直接相當於溫暖實例池筆記本和工作。

後支付vm啟動一個倉庫或運行在磚SQL查詢嗎?

客戶支付基於DBUs直到汽車停止停止SQL倉庫。

客戶支付AWS的vm,客戶支付基於DBUs磚。

虛擬私有網絡(VPC)數據平麵

在客戶的磚賬戶VPC,工作區和集群之間之間的網絡邊界。

  • AWS:獨家,VPC在客戶的帳戶。

  • Azure:獨家,聯接在客戶的帳戶。

操作係統映像

Databricks-modified雲托管Amazon-linux2

Databricks-managed Ubuntu或CentOS

技術管理默認VPC的出口

Databricks-created AWS互聯網網關

默認網絡網關或負載平衡器提供的雲

定製VPC和防火牆設置

沒有

是的

定製CIDR範圍

沒有

是的

公共ip

沒有

安全集群連接

  • 當殘疾人,一個為每個VM公共IP。

  • 啟用時(默認),沒有公眾對虛擬機的ip。

集裝箱層麵網絡隔離磚運行時的集群

使用Kubernetes網絡策略

使用Databricks-managediptable規則

vm級別網絡隔離磚運行時的集群

安全組隔離

安全組和隔離VPC (AWS)或聯接(Azure)

虛擬機隔離

vm集群中可以完成他們之間的溝通,但不允許入口流量與其他集群。

vm集群中可以完成他們之間的溝通,但不允許入口流量與其他集群。

控製平麵和數據平麵之間的溝通

磚SQL Serverless通信使用私人連接。模型服務,通信使用直接mtl加密通信與控製平麵的連接發起訪問限製在控製飛機的IP地址。

安全集群連接

  • 當啟用AWS E2和Azure(默認):單個虛擬機連接到集群創建期間SCC繼電器在控製平麵

  • 當禁用:控製平麵連接到單個vm使用公共ip。

首次部署憑據

磚內部我的角色

  • AWS:我的角色由客戶提供。beplay体育app下载地址

  • Azure:沒有必要的。

為常規數據平麵操作證書

磚調用sts: AssumeRole在customer-provided我的角色。

  • AWS:vm運行與實例資料由客戶提供beplay体育app下载地址sts: PassRole)。

  • Azure:自身的應用程序令牌。

的位置存儲DBFS根和工作區係統數據

客戶創建客戶帳戶的S3 bucket工作區創造的一部分。

  • AWS:客戶創建客戶帳戶的S3 bucket工作區創造的一部分。

  • Azure:磚創建存儲在客戶賬戶作為工作區創造的一部分。