使用共享python車輪工作計算集群

[Mr__E]

我們有一個GitHub工作流,生成一個python輪和S3上傳共享我們的磚工作區。當我安裝Python輪正常計算集群使用的路徑方法,它正確地安裝Python輪和我可以使用圖書館。然而,當我計算集群安裝工作,我收到以下錯誤:

運行結果不可用:工作失敗與錯誤消息庫安裝失敗庫whl由於用戶錯誤:“s3: / / shared-python-packages / mywheel-0.0.latest-py3-none-any。whl”。錯誤消息:. lang。RuntimeException: ManagedLibraryInstallFailed: java . util . concurrent。ExecutionException: java.nio.file。AccessDeniedException: s3a: / / shared-python-packages / mywheel-0.0.latest-py3-none-any。whl: getFileStatus s3a: / / shared-python-packages / mywheel-0.0.latest-py3-none-any。whl: com.amazonaws.services.s3.model。AmazonS3Exception:禁止;要求:頭https://shared - python packages.s3 -我們-西方- 2. - amazonaws.comnanads-0.0.latest-py3-none-any.whl

我怎麼給集群工作正確的訪問嗎?

[Hubert_Dudek1]

您可以掛載S3 DBFS文件夾然後設置圖書館“集群”- >“庫”選項卡- >“安裝新”- >“DBFS”

[Mr__E]

謝謝!這是我已經做什麼。它對正常計算集群很不錯,但它並不適合工作集群和給上述錯誤。

[Hubert_Dudek1]

是的,但是你把文件路徑”s3: / / shared-python-packages……”不是“/ your_mount / shared-python-packages…”嗎?(無論是s3路徑包括訪問令牌)

它看起來像一個身份驗證問題。做一個永久的山可以解決這個問題。

dbutils.fs。山(“s3a: / / % s: % s@ % s % (access_key, encoded_secret_key aws_bucket_name)“/ mnt / % s”% mount_name)

更多的在這裏https://docs.m.eheci.com/data/data-sources/aws/..。

[Mr__E · Accepted solution]

是的,這是一個身份驗證問題。結果建立了計算集群實例配置文件,但從不工作檔案,所以當車輪過程成立它失敗的工作。

TL;博士:你需要應用實例配置文件訪問共享資源的計算集群。