生成是一個客戶端庫,允許您從任何執行所有AWS S3操作機器。

生成並不是默認安裝在磚集群。你必須安裝它通過集群級init腳本可以使用之前。

創建初始化腳本

在筆記本中運行這個示例腳本創建集群的init腳本。

% python dbutils.fs.put (“dbfs: /磚/ < path-to-init-script > / s3cmd-init。sh”、“”“# !/bin/bash #目的:生成安裝和配置sudo apt-get - y安裝生成貓> /root/.s3cfg < < EOF access_key = $ access_key secret_key = $ secret_key EOF生成ls”“”,真的)

記得init腳本的路徑。你需要它在配置集群。

配置初始化腳本

按照文檔配置一個集群級init腳本。

指定init腳本的路徑。使用相同的路徑,你使用的示例腳本(dbfs: /磚/ <目錄> / s3cmd-init.sh)。

秘密添加環境變量

避免直接在init腳本存儲機密。相反,存儲路徑環境變量的一個秘密。

ACCESS_KEY ={{秘密/ < scope-name > / <秘密名字>}}SECRET_KEY ={{秘密/ < scope-name > / <秘密名字>}}

配置環境變量後,init腳本可以使用它們。

重新啟動集群

在配置init腳本之後,重新啟動集群。

您現在可以使用生成在筆記本電腦% sh神奇的命令。