安裝雲對象存儲在磚上

山一桶使用AWS實例配置文件

您可以管理身份驗證和授權使用AWS S3 bucket實例配置文件。訪問對象的桶是由權限授予實例配置文件。如果這個角色有寫訪問,掛載點的用戶可以編寫桶中的對象。如果這個角色有讀訪問,掛載點的用戶將能夠閱讀桶中的對象。

1. 配置您的集群實例配置文件。

2. 鬥山。

   aws_bucket_name=“< aws-bucket-name >”mount_name=“< mount-name >”dbutils。fs。山(f“s3a: / /{aws_bucket_name}”,f“/ mnt /{mount_name}”)顯示(dbutils。fs。ls(f“/ mnt /{mount_name}”))

   瓦爾AwsBucketName=“< aws-bucket-name >”瓦爾MountName=“< mount-name >”dbutils。fs。山(“s3a: / /美元AwsBucketName”,“/ mnt /美元MountName”)顯示(dbutils。fs。ls(“/ mnt /美元MountName”))

山一桶使用AWS鑰匙

您可以使用AWS山一桶的鑰匙。

下麵的例子使用磚秘密存儲鍵。你URL必須逃跑秘密密鑰。

access_key=dbutils。秘密。得到(範圍=“aws”,關鍵=“aws-access-key”)secret_key=dbutils。秘密。得到(範圍=“aws”,關鍵=“aws-secret-key”)encoded_secret_key=secret_key。取代(“/”,”% 2 f”)aws_bucket_name=“< aws-bucket-name >”mount_name=“< mount-name >”dbutils。fs。山(f“s3a: / /{access_key}:{encoded_secret_key}@{aws_bucket_name}”,f“/ mnt /{mount_name}”)顯示(dbutils。fs。ls(f“/ mnt /{mount_name}”))

瓦爾AccessKey=dbutils。秘密。得到(範圍=“aws”,關鍵=“aws-access-key”)/ /編碼秘密密鑰,可以包含“/”瓦爾SecretKey=dbutils。秘密。得到(範圍=“aws”,關鍵=“aws-secret-key”)瓦爾EncodedSecretKey=SecretKey。取代(“/”,“% 2 f”)瓦爾AwsBucketName=“< aws-bucket-name >”瓦爾MountName=“< mount-name >”dbutils。fs。山(“s3a: / /美元AccessKey:美元EncodedSecretKey@美元AwsBucketName”,“/ mnt /美元MountName”)顯示(dbutils。fs。ls(“/ mnt /美元MountName”))

山一桶的使用實例配置文件AssumeRole政策

您必須首先配置訪問cross-account S3 bucket AssumeRole政策。

山桶而設置S3選項extraConfigs:

dbutils。fs。山(“s3a: / / < s3-bucket-name >”,“/ mnt / < s3-bucket-name >”,extra_configs={“fs.s3a.credentialsType”:“AssumeRole”,“fs.s3a.stsAssumeRole.arn”:“攻擊:aws:我::< bucket-owner-acct-id >: / MyRoleB”角色,“fs.s3a.canned.acl”:“BucketOwnerFullControl”,“fs.s3a.acl.default”:“BucketOwnerFullControl”})

dbutils。fs。山(“s3a: / / < s3-bucket-name >”,“/ mnt / < s3-bucket-name >”,extraConfigs=地圖(“fs.s3a.credentialsType”- >“AssumeRole”,“fs.s3a.stsAssumeRole.arn”- >“攻擊:aws:我::< bucket-owner-acct-id >: / MyRoleB”角色,“fs.s3a.canned.acl”- >“BucketOwnerFullControl”,“fs.s3a.acl.default”- >“BucketOwnerFullControl”))

使用SSE-S3寫文件

1. 山與SSE-S3 S3 bucket,運行以下命令:

   dbutils。fs。山(“s3a: / /美元AccessKey:美元SecretKey@美元AwsBucketName”,“/ mnt /美元MountName”,“sse-s3”)

2. 寫文件到相應的S3 bucket SSE-S3,運行:

   dbutils。fs。把(“/ mnt /美元MountName”,“<文件內容>”)

使用SSE-KMS寫文件

1. 山源目錄傳入sse-kms或sse-kms: $ KmsKey作為加密類型。

   • 增加你的S3 bucket SSE-KMS使用默認公裏主鍵,運行:

     dbutils。fs。山(“s3a: / /美元AccessKey:美元SecretKey@美元AwsBucketName”,“/ mnt /美元MountName”,“sse-kms”)

   • 增加你的S3 bucket SSE-KMS使用特定公裏鍵,運行:

     dbutils。fs。山(“s3a: / /美元AccessKey:美元SecretKey@美元AwsBucketName”,“/ mnt /美元MountName”,“sse-kms: KmsKey美元”)

2. 寫文件與SSE-KMS S3 bucket,運行:

   dbutils。fs。把(“/ mnt /美元MountName”,“<文件內容>”)

S3 bucket磚提交服務

如果你打算寫一個給定表存儲在S3中同時從多個集群或工作負載,磚建議你配置數據磚S3提交服務。你的筆記本代碼必須裝入桶和添加AssumeRole配置。這一步是必要的隻有DBFS坐騎,不是用於訪問根DBFS存儲在您的工作區內的根S3 bucket。下麵的例子使用Python:

#如果其他代碼已經登上鬥不使用新的角色,先卸載它dbutils。fs。卸載(“/ mnt / < mount-name >”)#掛載桶和承擔新的角色dbutils。fs。山(“s3a: / / < bucket名> /”,“/ mnt / < mount-name >”,extra_configs={“fs.s3a.credentialsType”:“AssumeRole”,“fs.s3a.stsAssumeRole.arn”:“< role-arn >”})