cli Databrikcs工作

[Orianh]

嘿,夥計們,

我想創建一個通過磚cli的工作,這項工作將使用wheell文件我已經上傳dbfs和從這個包出口入口點,所需的工作。

在UI中我可以看到已經創建了工作,但是當我試圖運行這個工作我得到一個錯誤,我需要管理為了在集群上安裝庫的訪問集群(庫)搶先一步。

我的問題是,

1. 有沒有一種方法來創建一個工作通過磚cli和安裝包但是筆記本挖的方式呢?(沒有得到管理訪問集群)
2. 假設,而不是使用現有的集群,在創建工作我將創建一個新的集群安裝庫——應該有任何問題?

我的job_config。json文件:

{" name ": " test_databricks_cli_jobs”、“任務”:[{“task_key”:“Test_train_entrypoint”、“描述”:火車入口點“打印測試頁”,“depends_on”: [],“existing_cluster_id”:“Myicluster-id”、“python_wheel_task”: {“package_name”:“testpack”,“entry_point”:“火車”,“參數”:[“隨機”,“這是一個測試消息”)},“庫”:[{:“whl / dbfs / FileStore /罐/測試/ testpack-0.0.1-py3-none-any。whl”}]}]}

命令來部署工作:

磚的工作創建——json文件job_config。json - = 2.1版本

希望有人能幫助我。

謝謝!

[Kaniz]

嗨@orian印地語,你跑磚工作CLI種子命令,通過添加他們磚的工作

和磚的工作運行CLI子命令通過添加磚運行。磚工作運行……,請參閱CLI運行。

重要:-

磚的工作CLI支持調用兩個版本的磚工作REST API:版本2.1和2.0。版本2.1支持與多個任務編排工作;看到工作流程與作業和喬布斯API更新。

磚建議你叫2.1版本遺留的腳本,除非你有依靠2.0版本,不能遷移。

除非另有規定,在本文中描述的程序性行為同樣適用於版本2.1和2.0。

有兩種方法來安裝notebook-scoped庫:

• 運行% pip魔法命令在一個筆記本上。% pip命令支持磚磚運行時上運行時7.1及以上和6.4毫升以上。為新工作負載數據磚推薦使用這種方法。這文章描述如何使用這些神奇的命令。
• 在磚運行時的10.5和下麵,您可以使用磚圖書館的效用。圖書館支持實用程序隻在磚運行時,不是基因組磚運行時毫升或磚的運行時。看到庫工具(dbutils。庫)。

安裝庫為所有筆記本電腦連接到一個集群,使用工作空間或cluster-installed庫。

重要:-“dbutils.library.install”和“dbutils.library.installPyPI”api在磚運行時的11.0刪除。

[Orianh]

嘿,Kaniz,謝謝你的回答。

我不知道你理解我,我將努力使它更清楚。

我想為我們的開發人員使用磚自動化毫升訓練過程。

當開發人員完成他所有的代碼,我包裝成一個輪文件上傳成磚文件係統,這個包有一個入口點我們叫它訓練。

我設法創建一個工作使用CLI和所有需要的配置,但當我試圖運行的工作我得到一個錯誤——集群管理訪問需要安裝集群庫。

所有輪中的代碼文件. py文件。

job_config。json文件我宣布庫所需的工作運行(如車輪已經上傳的文件)

有辦法運行作業不管理訪問錯誤?——安裝圖書館集群的工作範圍和不?(如筆記本範圍自由)

希望更清楚,如果不讓我知道,我將試著解釋更好

[Vivian_Wilfred]

嗨@orian印地語,添加輪包“圖書館”一節的json文件將始終嚐試安裝集群級別的whl要求管理訪問,無論工作集群或現有的集群互動。你不能實現這樣沒有必要的許可在集群上。

你試過安裝whl /筆記本,會直接的對你的代碼運行附加到工作?

https://docs.m.eheci.com/libraries/notebooks-python-libraries.html install-a-package-from-dbfs-wi……

% pip安裝/ dbfs / mypackage-0.0.1-py3-none-any.whl

這將安裝圖書館隻是為了工作運行範圍,而不是在集群上。

[Orianh]

嘿,薇薇安,謝謝你的回答。

我被允許創建集群現在,而不是使用現有的集群——每個工作將與新的集群運行——它的解決問題的權限來安裝在集群上自由。(config_job。json而不是使用現有的集群通過規範new_cluster鍵)。

我設法安裝庫後麵臨一個新問題,你會幫助我. .

我設置一個入口點名稱的火車,火車一個函數在我的包被2參數-(名稱、消息)

這入口點設置需要設置。py entry_points提起?或者我應該在初始化模塊內部導出函數?——從.file進口火車?

當我試圖導出功能,沒有任何參數沒問題隻有導出函數在init文件——從.file print_name進口

希望我解釋了我的問題,你可以幫助我,

謝謝!