Customer-managed鍵工作區存儲

介紹

對於額外的控製你的數據,您可以添加您自己的關鍵保護和控製對某些類型的數據的訪問。磚有兩個customer-managed關鍵特性,包括不同類型的數據和位置。比較,請參閱Customer-managed密鑰進行加密。

磚可能加密的其他數據時,您可以添加一個customer-managed關鍵工作區存儲保護和控製訪問以下類型的加密數據:

• 你的工作空間的根S3 bucket:如果你添加一個工作區存儲加密密鑰,磚上的數據進行加密的Amazon S3 bucket AWS帳戶指定當你設置你的工作區,它有時被稱為工作區的根S3 bucket。這個桶包含您的工作區DBFS根,其中包括工作空間庫和FileStore區域,MLflow模型,三角洲生活表在你的DBFS根(不是數據DBFS坐騎)。鬥還包括你的工作空間的係統數據,其中包括工作結果,磚SQL結果,筆記本的修正,以及其他一些工作空間數據。

• 集群的EBS卷(可選):對於磚運行時集群節點和其他計算資源經典的數據平麵,您可以選擇使用加密虛擬機的遠程EBS卷的關鍵。

  重要的

  Serverless SQL倉庫不要使用customer-managed EBS存儲加密密鑰,這是一個可選的一部分customer-managed鍵工作區存儲功能。磁盤用於serverless計算資源是短暫的和相關的生命周期serverless工作量。例如,當serverless SQL倉庫停止或按比例縮小,虛擬機和存儲被摧毀。看到Serverless計算和customer-managed鍵。

之後添加一個工作區customer-managed密鑰加密,磚使用您的密鑰加密的未來寫操作工作區根S3 bucket中存儲數據。現有的數據並不對。如果你選擇你的關鍵幫助加密EBS卷,關鍵隻適用於新的或重新啟動集群。

這個特性會影響你DBFS根根S3 bucket中的數據,但它不是用於加密數據額外DBFS坐騎如額外S3 bucket。DBFS根工作區包含庫和FileStore區域。注意,對於S3 DBFS坐騎,其他方法寫加密的數據和你的鑰匙。

幫助診斷問題,如果你使用這個特性,磚建議你啟用CloudTrail S3對象級別的日誌記錄在你的根S3 bucket。

關於更新或附加筆記共享密鑰:

• 當你添加一個customer-managed存儲的關鍵,你以後不能旋轉的主要通過設置不同的關鍵是工作區。然而,AWS提供了自動CMK萬能鑰匙旋轉,旋轉不改變的關鍵是底層的關鍵AWS文檔中描述。自動CMK萬能鑰匙旋轉兼容磚customer-managed鍵存儲。

• 你可以共享一個AWS公裏關鍵或者一個磚關鍵配置工作區存儲加密整個工作區。

• 您可以選擇共享一個磚鍵配置對象(引用你的關鍵)之間的兩個不同的加密用例:這個特性(工作區存儲)Customer-managed密鑰管理服務。在這兩種情況下你可以添加關鍵及其磚關鍵配置你的磚工作區中工作區創建或添加後,但隻有管理服務支持旋轉(更新)的關鍵。

• 如果您已經啟用加密管理服務現有的工作空間,您可以共享工作區存儲的關鍵,但是你必須創建並注冊一個新的關鍵配置使用相同的關鍵是工作區存儲。

本文描述了如何將一個工作區存儲加密密鑰添加到正在運行的工作區。創建一個新的工作空間和工作空間存儲加密,而不是看到使用帳戶API創建一個新的工作區。這篇文章描述了如何選擇跨兩個加密共享一個關鍵配置用例:工作區存儲和Customer-managed密鑰管理服務。

您還可以添加一個加密密鑰磚起程拓殖的提供者和databricks_mws_customer_managed_keys。

步驟1:創建或選擇一個關鍵

1. 創建或選擇一個對稱密鑰在AWS公裏以下的指令創建對稱cmk或查看鍵。

   重要的

   公裏鍵必須位於同一個AWS地區作為你的工作區。

2. 複製這些值,你需要在後麵的步驟:

   • 關鍵是:在攻擊從控製台或API (在攻擊在JSON響應)。

   • 關鍵的別名:一個別名指定在AWS CMK公裏的顯示名稱。使用別名來識別CMK密碼操作。有關更多信息,請參見AWS文檔:AWS:公裏:別名和使用別名。

3. 在關鍵政策標簽,切換到政策的觀點。編輯關鍵政策以便磚可以使用執行加密和解密操作的關鍵。

   選擇一個選項卡並單擊以下複製。選擇第二個選項卡隻如果你不想使用這個密鑰來加密集群EBS卷。

   添加JSON關鍵政策“聲明”部分。

   {“席德”:“允許磚使用公裏DBFS的關鍵”,“效應”:“允許”,“校長”:{“AWS”:“攻擊:aws:我::414351767826:根”},“行動”:(“公裏:加密”,“公裏:解密”,公裏:ReEncrypt *”,公裏:GenerateDataKey *”,“公裏:DescribeKey”),“資源”:“*”,“條件”:{“StringEquals”:{“aws: PrincipalTag / DatabricksAccountId”:(“< databricks-account-id > (s)”]}}},{“席德”:“允許磚使用公裏DBFS(撥款)”的關鍵,“效應”:“允許”,“校長”:{“AWS”:“攻擊:aws:我::414351767826:根”},“行動”:(“公裏:CreateGrant”,“公裏:ListGrants”,“公裏:RevokeGrant”),“資源”:“*”,“條件”:{“StringEquals”:{“aws: PrincipalTag / DatabricksAccountId”:(“< databricks-account-id > (s)”]},“Bool”:{“公裏:GrantIsForAWSResource”:“真正的”}}},{“席德”:“允許磚使用公裏EBS的關鍵”,“效應”:“允許”,“校長”:{“AWS”:“< aws-arn-for-your-credentials >”},“行動”:(“公裏:解密”,公裏:GenerateDataKey *”,“公裏:CreateGrant”,“公裏:DescribeKey”),“資源”:“*”,“條件”:{“ForAnyValue: StringLike”:{“公裏:ViaService”:“ec2 * .amazonaws.com”。}}}

   {“席德”:“允許磚使用公裏DBFS的關鍵”,“效應”:“允許”,“校長”:{“AWS”:“攻擊:aws:我::414351767826:根”},“行動”:(“公裏:加密”,“公裏:解密”,公裏:ReEncrypt *”,公裏:GenerateDataKey *”,“公裏:DescribeKey”),“資源”:“*”,“條件”:{“StringEquals”:{“aws: PrincipalTag / DatabricksAccountId”:(“< databricks-account-id > (s)”]}}},{“席德”:“允許磚使用公裏DBFS(撥款)”的關鍵,“效應”:“允許”,“校長”:{“AWS”:“攻擊:aws:我::414351767826:根”},“行動”:(“公裏:CreateGrant”,“公裏:ListGrants”,“公裏:RevokeGrant”),“資源”:“*”,“條件”:{“StringEquals”:{“aws: PrincipalTag / DatabricksAccountId”:(“< databricks-account-id > (s)”]},“Bool”:{“公裏:GrantIsForAWSResource”:“真正的”}}}

   請注意

   檢索你的磚賬戶ID,去賬戶控製台然後單擊用戶圖標底部的邊欄。在那裏你可以看到並複製ID。

   有關更多信息,請參見AWS的文章編輯鍵。

步驟2:創建一個新的密鑰配置使用帳戶API

1. 注冊你的公裏關鍵數據磚,調用創建customer-managed關鍵配置API(帖子/賬戶/ <帳戶id > / customer-managed-keys),它創建了一個磚關鍵配置。

   通過以下參數:

   • use_cases:設置下麵的JSON數組的一個元素["存儲"]。注意,如果您正在創造新的工作空間,您可以創建一個用例(見關鍵配置使用帳戶API創建一個新的工作區)。

   • aws_key_info:一個JSON對象有以下屬性:

     • key_arn:AWS公裏鍵攻擊。注意,關鍵是磚推斷AWS的地區。

     • key_alias:(可選AWS公裏)關鍵的別名。

     • reuse_key_for_cluster_volumes:(可選)如果use_case數組中包含了存儲,這還指定是否使用加密集群EBS卷的關鍵。默認值是真正的,這意味著磚也使用集群的關鍵卷。如果你設置假,磚不加密EBS卷與你指定的關鍵。在這種情況下,你的磚EBS卷的加密使用默認AWS SSE加密或如果你啟用AWS帳戶級別EBS默認加密,AWS執行帳戶級別EBS使用一個單獨的密鑰加密,你提供給他們。注意,如果reuse_key_for_cluster_volumes是真正的你撤銷許可的關鍵,它不會影響運行集群但影響新並重新啟動集群。

     示例請求:

     curl - x - n後\“https://accounts.cloud.m.eheci.com/api/2.0/accounts/ < databricks-account-id > / customer-managed-keys”\- d”{“use_cases”:“存儲”," aws_key_info ": {:“key_arn攻擊:aws:公裏:us-west-2: < aws-account-id >:鍵/ <鍵id >”,:“key_alias my-example-key”,“reuse_key_for_cluster_volumes”:真的}}'

     示例響應:

     {“use_cases”:(“存儲”),“customer_managed_key_id”:“< aws-kms-key-id >”,“creation_time”:1586447506984,“account_id”:“< databricks-account-id >”,“aws_key_info”:{“key_arn”:“攻擊:aws:公裏:us-west-2: < aws-account-id >:鍵/ <鍵id >”,“key_alias”:“my-example-key”,“reuse_key_for_cluster_volumes”:真正的,“key_region”:“us-west-2”}}

2. 從響應,複製customer_managed_key_id步驟4中使用。

步驟3:添加一個訪問政策cross-account我角色(可選)

如果你的公裏在AWS帳戶不同是關鍵cross-account我角色用於部署您的工作區,然後你必須添加一個政策cross-account我的角色。這一政策使磚來訪問你的關鍵。如果你的公裏關鍵是相同的AWS帳戶cross-account我角色用於部署您的工作區,然後你不需要做這一步。

1. 登錄到AWS管理控製台作為用戶與管理員權限和去我控製台。

2. 在左側導航窗格中,單擊角色。

3. 在角色列表中,單擊cross-account我角色創建數據磚。

4. 添加一個內嵌的政策。

   1. 在權限選項卡上,單擊添加內嵌策略。

      

   2. 在策略編輯器中,單擊JSON選項卡。

      

   3. 複製下麵的訪問策略

      {“席德”:“AllowUseOfCMKInAccount < AccountIdOfCrossAccountIAMRole >”,“效應”:“允許”,“行動”:(“公裏:解密”,公裏:GenerateDataKey *”,“公裏:CreateGrant”,“公裏:DescribeKey”),“資源”:“攻擊:aws:公裏:<地區>:< AccountIdOfKMSKey >:鍵/ < KMSKeyId >”,“條件”:{“ForAnyValue: StringLike”:{“公裏:ViaService”:“ec2 * .amazonaws.com”。}}}

   4. 點擊審查政策。

   5. 在的名字字段中,輸入一個政策的名字。

   6. 點擊創建政策。

第四步:關閉所有集群

終止所有正在運行的集群、遊泳池,以及SQL倉庫。

第五步:更新一個工作區關鍵配置使用帳戶API

使用磚賬戶API 2.0更新您的工作區。

調用API操作更新一個工作區(補丁/賬戶/ {account_id} /工作區/ {workspace_id})。唯一的請求參數你需要傳遞storage_customer_managed_key_id財產。把它的customer_managed_key_id當你從JSON響應注冊你的關鍵配置。

例如:

curl - x片- n\“https://accounts.cloud.m.eheci.com/api/2.0/accounts/ < databricks-account-id > /工作區/ < workspace-id > '\- d”{“storage_customer_managed_key_id”:“< databricks-key-config-id >”,}'

第六步:等待信息傳播的關鍵

至少等待20分鍾後API更新之前。

第七步:重新啟動集群

重新啟動集群,遊泳池,和SQL倉庫,你終止前一步。