Customer-managed VPC

概述

默認情況下，集群創建在單個AWS VPC(虛擬私有雲)中，由Databricks在您的AWS帳戶中創建和配置。您可以選擇在您自己的VPC中創建您的Databricks工作空間，該特性稱為customer-managed VPC．您可以使用客戶管理的VPC，對您的網絡配置進行更多的控製，以滿足您的組織可能需要的特定的雲安全和治理標準。

客戶管理VPC是一個很好的解決方案，滿足以下條件:

• 防止PaaS提供商在您自己的AWS帳戶中創建vpc的安全策略。

• 創建VPC的審批流程，由內部信息安全團隊或雲工程團隊對VPC進行詳細的配置和安全保護。

福利包括:

• 低特權級別:您對自己的AWS帳戶保持更多的控製。你不需要通過跨帳戶IAM角色授予Databricks像在Databricks管理的VPC中那樣多的權限。例如，創建vpc不需要權限。這種有限的權限集可以使您更容易獲得在平台堆棧中使用Databricks的批準。Beplay体育安卓版本

• 簡化的網絡運營:更好的網絡空間利用率。與默認的CIDR /16相比，可選地為工作空間配置更小的子網。並且不需要在其他解決方案中進行複雜的VPC對等配置。

• 整合vpc:多個Databricks工作空間可以共享一個數據平麵VPC，通常用於計費和實例管理。

• 限製對外聯係:默認情況下，數據平麵不限製Databricks Runtime worker的外發連接。對於配置為使用客戶管理的VPC的工作空間，您可以使用出口防火牆或代理設備將出站流量限製為允許的內部或外部數據源列表。

為了使用客戶管理的VPC，您需要在首次創建Databricks工作空間時指定VPC。不能將已創建了VPC的工作空間移動到客戶管理的VPC中。您可以通過更新工作空間的網絡配置對象，將已有的帶有客戶管理VPC的工作空間從一個VPC移動到另一個VPC中。看到更新一個工作區．

當需要在自己的VPC中部署工作空間時，需要:

1. 創建VPC時，請按照如下要求創建VPCVPC需求．

2. 在創建工作空間時，參考VPC的網絡配置。

   • 使用帳戶控製台並按名稱選擇配置

   • 使用帳戶API並根據其ID選擇配置

   向Databricks注冊VPC時，需要提供VPC ID、子網ID和安全組ID。

VPC需求

為了承載Databricks工作空間，您的VPC需要滿足本節的要求。

創建一個VPC

要創建vpc，您可以使用各種工具:

• AWS控製台

• AWS CLI

• 起程拓殖

• AWS快速入門(創建新的客戶管理VPC和新的工作空間)

使用AWS Console時，創建、配置VPC及相關對象的基本指導如下。有關完整的說明，請參閱AWS文檔。

1. 去AWS中的vpc頁麵．

2. 請參閱右上角的區域選擇器。如果需要，切換到工作區的區域。

3. 在右上角，單擊橙色按鈕創建VPC．

   

4. 點擊VPC,更．

5. 在姓名標簽自動生成為您的工作區鍵入一個名稱。Databricks建議在名稱中包含地區。

6. “VPC地址範圍”可根據需要進行修改。

7. 對於公網子網，單擊2．Databricks工作空間並不直接使用這些子網，但是在此編輯器中啟用nat需要這些子網。

8. 對於私有子網，單擊2為工作區子網的最小值。如果需要，您可以添加更多。

   您的Databricks工作空間至少需要兩個私有子網。如果需要調整大小，例如共享一個VPC和多個需要劃分子網的工作空間，請單擊自定義子網CIDR塊．

9. 對於NAT網關，單擊1阿茲．

10. 確保底部的以下字段都已啟用:使DNS主機名而且使DNS解析．

11. 點擊創建VPC．

12. 查看新創建的VPC時，可單擊左側導航中的，更新VPC的相關設置。為使查找相關對象更容易，在根據VPC過濾字段，選擇新的VPC。

13. 點擊子網也就是AWS所說的私人標記為1和2的子網，您將使用它們來配置您的主工作區子網。修改子網VPC需求．

    如果為使用PrivateLink創建了額外的私有子網，請按照中指定的配置私有子網3使AWS PrivateLink．

14. 點擊安全組，修改安全組安全組．

    如果要使用後端PrivateLink連通性，請按照本節的PrivateLink文章中指定的那樣，創建一個附加的具有入站和出站規則的安全組步驟1:配置AWS網絡對象．

15. 點擊網絡acl，修改網絡aclSubnet-level網絡acl．

16. 選擇是否執行本文後麵指定的可選配置。

17. 在Databricks中注冊VPC，創建網絡配置使用帳戶控製台或通過使用Account API．

配置防火牆和出站接入(可選)

如果你正在使用安全集群連接(截至2020年9月1日的默認值)，使用出口防火牆或代理設備來阻止大多數流量，但允許Databricks需要連接的url:

• 如果防火牆或代理設備與Databricks工作VPC在同一個VPC中，需要對流量進行路由，並配置允許以下連接。

• 當防火牆或代理設備在其他VPC或企業網絡中時，需要配置路由0.0.0.0/0連接到該VPC或網絡，並配置代理設備允許如下連接。

允許以下外發連接:

• 磚的web應用程序:必須的。也用於對工作區的REST API調用。

• 數據庫安全集群連接(SCC)中繼:如果您的工作空間使用安全集群連通性(這是帳戶中的工作空間的默認值)，則必須E2版本平台Beplay体育安卓版本截至2020年9月1日。

• AWS S3全局URL: Databricks訪問S3根桶所需。

• AWS S3區域URL:可選的。但是，您可能會使用其他S3桶，在這種情況下還必須允許S3區域端點。Databricks建議創建S3 VPC端點，以便流量通過AWS網絡骨幹網上的私有隧道。

• AWS STS全球網址:必須的。

• AWS STS區域URL:由於預期切換到區域端點而需要。

• AWS Kinesis區域URL:用於捕獲管理和監控軟件所需的日誌。對於大多數區域，使用區域URL。然而，對於vpcus-west-1例如，VPC終端不會在今天生效，您必須確保允許使用Kinesis URLus-west-2(不us-west-1)．Databricks建議您創建一個Kinesis VPC端點，以便流量通過AWS網絡骨幹網上的私有隧道。

• 表metastore RDS區域URL(按數據平麵區域):如果你的Databricks工作空間使用默認的Hive metastore，它總是與你的數據平麵區域在同一區域，則必須。這意味著它可能與控製平麵處於相同的地理位置但不同的區域。而不是使用默認的Hive metastore，你可以選擇實現您自己的表metastore實例，在這種情況下，您負責其網絡路由。

配置區域端點(可選)

當使用客戶管理VPC時(可選)安全集群連接(截至2020年9月1日為默認值)，您可能更傾向於配置您的VPC隻使用區域VPC端點與AWS服務連接，與AWS全局端點相比，連接更直接，成本更低。Databricks的工作空間和客戶管理的VPC必須訪問的AWS服務有四種:STS、S3、Kinesis和RDS。

隻有使用默認的Databricks metastore時，才需要在VPC中連接RDS服務。雖然RDS沒有VPC端點，但用戶可以配置自己的外部metastore，而不使用默認的Databricks的metastore。實現外部轉移瘤蜂巢metastore或AWS膠．

對於其他三種業務，您可以創建VPC網關或接口端點，以便來自集群的相關區域內流量可以通過安全的AWS骨幹網而不是公網傳輸:

• S3:創建一個VPC網關端點可以直接從您的Databricks集群子網訪問。這導致區域內所有S3桶的工作空間流量都使用端點路由。要訪問任何跨區域桶，打開對S3全局URL的訪問s3.amazonaws.com在出口設備或路由中0.0.0.0/0連接到AWS的互聯網網關。

  使用DBFS保險絲啟用區域端點時:

  • 您必須在要設置的集群配置中設置一個環境變量AWS_REGION = < aws-region-code >．例如，如果您的工作空間部署在N. Virginia區域，則設置AWS_REGION = us-east-1．要對所有集群強製執行，請使用集群政策．

• STS:創建一個VPC接口端點直接從您的Databricks集群子網訪問。您可以在您的工作區子網中創建這個端點。Databricks建議使用與工作VPC相同的安全組。此配置導致到STS的工作空間通信量使用端點路由。

• 運動:創建一個VPC接口端點直接從您的Databricks集群子網訪問。您可以在您的工作區子網中創建這個端點。Databricks建議使用與工作VPC相同的安全組。此配置導致到Kinesis的工作空間流量使用端點路由。此規則的唯一例外是AWS區域中的工作空間us-west-1這是不正確的，因為在這種情況下，目標運動流是跨區域的us-west-2．

使用實例概要訪問S3(可選)

訪問S3掛載實例配置文件，設置Spark的如下配置:

• 要麼在每個源筆記本中：

  ％scalasc．hadoopConfiguration．集（“fs.s3a.endpoint”，“https://s3 <地區> .amazonaws.com”。）sc．hadoopConfiguration．集（“fs.s3a.stsAssumeRole.stsEndpoint”，“https://sts <地區> .amazonaws.com”。）

  ％pythonsc．_jsc．hadoopConfiguration（）．集（“fs.s3a.endpoint”，“https://s3 <地區> .amazonaws.com”。）sc．_jsc．hadoopConfiguration（）．集（“fs.s3a.stsAssumeRole.stsEndpoint”，“https://sts <地區> .amazonaws.com”。）

• 或在Apache Spark配置中：

  火花．hadoop．fs．s3a．端點https：//s3．<地區>。amazonaws．com火花．hadoop．fs．s3a．stsAssumeRole．stsEndpointhttps：//sts．<地區>。amazonaws．com

要為所有集群設置這些值，請將這些值配置為您的集群政策．

限製S3桶的訪問(可選)

對S3的大多數讀取和寫入在數據平麵中是自包含的。但有些管理操作來源於控製平麵，由Databricks進行管理。當需要將S3桶的訪問限製在指定源IP地址的集合時，可以創建S3桶策略。在桶策略中，需要將IP地址包含在aws: SourceIp列表。當使用VPC Endpoint時，可通過添加到策略的方式允許訪問aws: sourceVpce．

有關S3桶策略的更多信息，請參見限製對特定IP地址的訪問在Amazon S3文檔中。工作例子桶政策也包括在本主題中。

｛“席德”：“IPAllow”，“效應”：“否認”，“校長”：“*”，“行動”：“s3: *”，“資源”：［“攻擊:aws: s3::: < s3 bucket >”，“攻擊:aws: s3::: < s3 bucket > / *”),“條件”：｛“NotIpAddress”：｛“aws: SourceIp”：［“< CONTROL-PLANE-NAT-IP >”，“< DATA-PLANE-NAT-IP >”，“< CORPORATE-VPN-IP >”］｝｝｝

｛“席德”：“IPAllow”，“效應”：“否認”，“校長”：“*”，“行動”：“s3: *”，“資源”：［“攻擊:aws: s3::: < s3 bucket >”，“攻擊:aws: s3::: < s3 bucket > / *”),“條件”：｛“NotIpAddressIfExists”：｛“aws: SourceIp”：［“< CONTROL-PLANE-NAT-IP >”，“< CORPORATE-VPN-IP >”］}，“StringNotEqualsIfExists”：｛“aws: sourceVpce”：“< VPCE-ID >”｝｝｝