AWS存儲配置

本文描述了如何配置Amazon Web Services S3 bucket的兩個不同的用例:

  • 根存儲一個工作區:根工作區對象存儲集群日誌,筆記本修訂、庫和工作結果。創建一個新的工作區使用賬戶控製台或賬戶API,您必須首先建立一個S3 bucket作為你的工作空間的根存儲。

  • 日誌交付(所有部署類型):存儲計費使用等提供日誌或審計日誌。有關更多信息,請參見交付和訪問計費使用日誌和配置審計日誌記錄。

提示

你可以自動化AWS存儲部署使用磚起程拓殖的提供者。看到創建數據磚工作區使用起程拓殖。

磚建議你複習安全最佳實踐為S3為指導保護桶中的數據免受不必要的訪問。

預覽

計費使用日誌交付是在公共預覽。

步驟1:創建一個S3 bucket

  1. 登錄你的AWS控製台作為用戶與管理員權限和去S3服務。

  2. 創建一個S3 bucket。看到創建一個桶在AWS文檔。

    重要的

    • S3 bucket必須在相同的AWS地區磚部署。

    • 磚建議作為一項最佳實踐,你使用一個專用的S3 bucket磚,非共享與其他資源或服務。

    • 不重用遺留工作區一桶。舉個例子,如果你是遷移到E2,創建一個新的AWS桶E2設置。

步驟2:應用鬥策略(工作區創建唯一的)

請注意

這個步驟是必要的,隻有如果你設置根存儲為您創建一個新的工作區帳戶API。跳過這一步如果你設置存儲日誌交付。

  1. 在AWS控製台中,S3服務。

  2. 單擊桶的名字。

  3. 單擊權限選項卡。

  4. 單擊桶的政策按鈕。

    桶政策按鈕

  5. 複製和修改這個桶的政策。取代< s3-bucket-name >S3 bucket名稱:

    請注意

    如果你正在創建存儲配置使用賬戶控製台,您還可以生成直接從桶政策添加存儲配置對話框。看到管理存儲配置使用帳戶控製台。

    {“版本”:“2012-10-17”,“聲明”:({“席德”:“格蘭特磚訪問”,“效應”:“允許”,“校長”:{“AWS”:“攻擊:aws:我::414351767826:根”},“行動”:(“s3: GetObject”,“s3: GetObjectVersion”,“s3: propertynames”,“s3: DeleteObject”,“s3: ListBucket”,“s3: GetBucketLocation”),“資源”:(“攻擊:aws: s3::: < s3-bucket-name > / *”,“攻擊:aws: s3::: < s3-bucket-name >”),“條件”:{“StringEquals”:{“aws: PrincipalTag / DatabricksAccountId”:(“YOUR_DATABRICKS_ACCOUNT_ID”]}}}]}

  6. 創建描述的生命周期政策高級配置。

步驟3:設置S3對象所有權(日誌隻交付)

請注意

這一步是必要的隻有當你設置存儲日誌交付。跳過這一步如果你設置根存儲為一個新的工作區。

取決於你如何訪問日誌設置S3 bucket。磚提供日誌與AWS的內置S3 bucketBucketOwnerFullControl ACL罐頭所以賬戶所有者和委派可以直接下載日誌。

支持桶所有權為新創建的對象,您必須設置你的桶S3對象所有權設置的值桶業主首選。

重要的

如果你設置你的桶S3對象所有權設置為對象的作家新對象,如仍屬於你的日誌上傳賬戶,這是默認情況下我的角色,磚使用訪問桶。這可能很難訪問日誌,因為你無法訪問它們的AWS控製台或自動化工具,你用作為桶所有者身份驗證。

解決驗證失敗

桶政策權限可以花幾分鍾來傳播。重試這個過程如果由於權限驗證失敗。

驗證正確的權限

當創建一個存儲配置你的桶磚,檢查是否你的桶已經被設置了正確的權限。其中一個檢查寫到一個文件在你的水桶,立即刪除它。然而,如果刪除操作失敗,臨時對象仍然是你的桶的根源。對象名稱將開始databricks-verification——< uuid >。

如果你看到這個對象,很可能因為錯誤配置的桶的政策。磚將權限卻不能刪除的權限。檢查桶政策和確保正確配置的權限。