起程拓殖——安裝蛋文件從S3

[Murthy1]

我希望我所有的集群上安裝Python蛋文件。雞蛋文件位於一個S3的位置。我試著使用下麵的代碼不工作

資源”databricks_dbfs_file”“應用”源= " $ {S3_Path} / {foo。蛋”路徑= " / FileStore / foo。蛋”}資源”databricks_library”“應用”{cluster_id = databricks_cluster.this。蛋= databricks_dbfs_file.app id。dbfs_path}

誰能幫我做這個嗎?

提前謝謝!

[Kaniz]

嗨@Murthy1錯誤消息你得到是什麼?

[Kaniz]

嗨@Murthy1,

安裝Python雞蛋是棄用,在將來的版本將被刪除。使用Python輪子或從PyPI安裝包。然而,安裝Python蛋文件位於一個S3的位置在所有集群在磚,你可以遵循下麵的步驟:

1。雞蛋文件上傳到S3 bucket。
2。文件係統掛載的S3 bucket磚(DBFS)使用說明文檔:https://docs.m.eheci.com/data/data-sources/aws/amazon-s3.html mount-an-s3-bucket
3所示。創建一個圖書館磚使用安裝S3 bucket作為圖書館的來源。你可以按照說明文檔:https://docs.m.eheci.com/libraries/workspace-libraries.html create-a-workspace-library
4所示。所有集群上安裝庫使用說明文檔:https://docs.m.eheci.com/libraries/workspace-libraries.html install-a-workspace-library-on-a-clus……

來源:
- - - - - -https://docs.m.eheci.com/libraries/workspace-libraries.html create-a-workspace-library
- - - - - -https://docs.m.eheci.com/libraries/workspace-libraries.html install-a-workspace-library-on-a-clus……
- - - - - -https://docs.m.eheci.com/data/data-sources/aws/amazon-s3.html mount-an-s3-bucket

[Murthy1]

你好@Kaniz,

謝謝你的快速響應。我確實明白它將被棄用,但現在必須使用雞蛋文件從S3

謝謝你的博客!就好了,如果你有一些鏈接,通過起程拓殖允許我們這樣做。

我得到的錯誤

錯誤:文件s3: / /桶/文件夾/包。蛋是不存在的

[Kaniz]

嗨@Murthy1,

可能的原因為錯誤消息”文件s3: / /桶/文件夾/ package.egg不存在“當試圖安裝一個Python雞蛋文件位於一個S3的位置在所有集群磚可以:

——集群沒有讀訪問S3蛋文件的位置。
——雞蛋文件的文件名不遵循正確的公約。
——雞蛋從S3文件可能已被刪除或移動位置。

解決問題,確保集群有讀訪問S3位置,檢查文件名是否遵循正確的公約,並驗證如果蛋文件仍在S3的位置。

額外的資源

•文檔:workspace-libraries
•文檔:amazon s3