CLI(遺留)
重要的
這個文檔已經退休了,可能不會被更新。
這個信息適用於遺留數據磚CLI版本0.17及以下。磚建議你使用新磚CLI的版本0.200或更高版本。看到磚CLI。找到你的版本的磚CLI,運行磚- v
。
從磚CLI或低於0.17版本遷移到磚CLI版本0.200或更高版本,看看磚CLI的遷移。
你運行數據磚工作運行CLI子命令通過添加磚運行
和磚工作CLI子命令通過添加磚工作
。磚的工作CLI子命令,請參閱喬布斯CLI(遺留)。在一起,這些子命令調用喬布斯API和喬布斯API 2.0。
重要的
磚的工作運行CLI支持調用兩個版本的磚工作REST API:版本2.1和2.0。(工作運行功能是就業REST API的一部分。)2.1版本增加了支持與多個任務編排工作;看到創建和運行數據磚的工作和喬布斯API更新。磚建議你叫2.1版本,除非你有遺留的腳本依賴版本2.0,不能遷移。
除非另有規定,本文中描述的程序性行為同樣適用於版本2.1和2.0。
請注意
如果你收到一個500級的錯誤時工作運行CLI請求,磚建議重試請求長達10分鍾(重試之間至少30秒的時間間隔)。
要求調用REST API 2.1工作
設置數據磚工作運行CLI(和就業CLI)調用REST API 2.1工作,做到以下幾點:
更新CLI0.16.0版或以上。
做下列之一:
運行以下命令
磚工作配置——版本= 2.1
。這增加了設置jobs-api-version=2.1
到文件~ / .databrickscfg
在Unix、Linux、或macOS或% USERPROFILE % \ .databrickscfg
在Windows上。所有工作運行CLI(和就業CLI)子命令調用REST API 2.1默認情況下工作。手動添加背景
jobs-api-version=2.1
到文件~ / .databrickscfg
在Unix、Linux、或macOS或% USERPROFILE % \ .databrickscfg
在Windows上。所有工作運行CLI(和就業CLI)子命令調用REST API 2.1默認情況下工作。附加的選項
——版本= 2.1
(例如,磚運行列表——版本= 2.1
)指導工作運行CLI調用隻工作2.1 REST API調用。
如果你之前沒有采取行動,工作運行CLI(和就業CLI)將調用REST API 2.0默認情況下工作。
要求調用REST API 2.0工作
設置數據磚工作運行CLI(和就業CLI)調用REST API 2.0工作,做以下之一:
使用一個版本的磚CLI 0.16.0以下,或
更新CLI0.16.0或以上版本,然後做下列之一:
運行以下命令
磚工作配置——版本= 2.0
。這增加了設置jobs-api-version=2.0
到文件~ / .databrickscfg
在Unix、Linux、或macOS或% USERPROFILE % \ .databrickscfg
在Windows上。所有工作運行CLI(和就業CLI)子命令調用REST API 2.0默認情況下工作。手動添加背景
jobs-api-version=2.0
到文件~ / .databrickscfg
在Unix、Linux、或macOS或% USERPROFILE % \ .databrickscfg
在Windows上。所有工作運行CLI(和就業CLI)子命令調用REST API 2.0默認情況下工作。附加的選項
——版本= 2.1
(例如,磚運行列表——版本= 2.0
)指導工作運行CLI調用隻工作2.0 REST API調用。
如果你之前沒有采取行動,工作運行CLI(和就業CLI)將調用REST API 2.0默認情況下工作。
子命令和一般使用
磚運行——幫助
用法:磚運行[選項]命令(ARGS)……公用事業與工作運行。選項:- v、版本(版本)——調試調試模式。顯示完整的堆棧跟蹤誤差。——概要文本使用CLI連接配置文件。默認的配置文件是“默認”。- h,幫助顯示此消息並退出。命令:取消取消指定的運行。得到關於運行在JSON形式的元數據。輸出得到的輸出。 list Lists job runs. submit Submits a one-time run.
得到信息
顯示使用文檔,運行磚運行得到——幫助
。
2.0工作CLI反應的例子
{“job_id”: 239年,“run_id”: 119年,“number_in_job”: 1、“original_attempt_run_id”: 119年,“狀態”:{“life_cycle_state”:“終止”,“result_state”:“成功”,“state_message”:“},"任務":{" notebook_task ": {:“notebook_path /用戶/ someone@example.com/notebooks/my-notebook.ipynb”}}," cluster_spec ": {" new_cluster ": {:“spark_version 8.1.x-scala2.12”," aws_attributes ": {:“zone_id us-west-2c”,“可用性”:“SPOT_WITH_FALLBACK”},:“node_type_id m5d.large”,“enable_elastic_disk”:假的,“num_workers”: 1}}," cluster_instance ": {“cluster_id”:“1234 - 567890 abcd123”,“spark_context_id”:“1234567890123456789”},“start_time”: 1618510327335,“setup_duration”: 191000年,“execution_duration”: 41000年,“cleanup_duration”: 2000年,“end_time”: 1618510561615,“觸發”:“ONE_TIME”,“creator_user_name”:“someone@example.com”,:“run_name my-notebook-run”,:“run_page_url https://dbc-a1b2345c-d6e7.cloud.m.eheci.com/?o=1234567890123456作業/ 239 /運行/ 1”,:“run_type JOB_RUN”,“attempt_number”: 0}
得到的輸出
顯示使用文檔,運行磚運行輸出——幫助
。
請注意
當一個notebook_task
從調用返回一個值dbutils.notebook.exit ()
磚限製返回的值的第一個5 MB的數據。返回一個更大的結果,你可以工作的結果存儲在雲存儲服務。
2.0工作CLI反應的例子
{“元數據”:{“job_id”: 239年,“run_id”: 119年,“number_in_job”: 1、“original_attempt_run_id”: 119年,“狀態”:{“life_cycle_state”:“終止”,“result_state”:“成功”,“state_message”:“},"任務":{" notebook_task ": {:“notebook_path /用戶/ someone@example.com/notebooks/my-notebook.ipynb”}}," cluster_spec ": {" new_cluster ": {:“spark_version 8.1.x-scala2.12”," aws_attributes ": {:“zone_id us-west-2c”,“可用性”:“SPOT_WITH_FALLBACK”},:“node_type_id m5d.large”,“enable_elastic_disk”:假的,“num_workers”: 1}}," cluster_instance ": {“cluster_id”:“1234 - 567890 abcd123”,“spark_context_id”:“1234567890123456789”},“start_time”: 1618510327335,“setup_duration”: 191000年,“execution_duration”: 41000年,“cleanup_duration”: 2000年,“end_time”: 1618510561615,“觸發”:“ONE_TIME”,“creator_user_name”:“someone@example.com”,:“run_name my-notebook-run”,:“run_page_url https://dbc-a1b2345c-d6e7.cloud.m.eheci.com/?o=1234567890123456作業/ 239 /運行/ 1”,:“run_type JOB_RUN”,“attempt_number”: 0},“notebook_output”: {}}
得到所有的信息
顯示使用文檔,運行磚運行列表——幫助
。
2.0工作CLI反應的例子
{“運行”:({“job_id”: 239年,“run_id”: 119年,“number_in_job”: 1、“original_attempt_run_id”: 119年,“狀態”:{“life_cycle_state”:“終止”,“result_state”:“成功”,“state_message”:“},"任務":{" notebook_task ": {:“notebook_path /用戶/ someone@example.com/notebooks/my-notebook.ipynb”}}," cluster_spec ": {" new_cluster ": {:“spark_version 8.1.x-scala2.12”," aws_attributes ": {:“zone_id us-west-2c”,“可用性”:“SPOT_WITH_FALLBACK”},:“node_type_id m5d.large”,“enable_elastic_disk”:假的,“num_workers”: 1}}," cluster_instance ": {“cluster_id”:“1234 - 567890 abcd123”,“spark_context_id”:“1234567890123456789”},“start_time”: 1618510327335,“setup_duration”: 191000年,“execution_duration”: 41000年,“cleanup_duration”: 2000年,“end_time”: 1618510561615,“觸發”:“ONE_TIME”,“creator_user_name”:“someone@example.com”,:“run_name my-notebook-run”,:“run_page_url https://dbc-a1b2345c-d6e7.cloud.m.eheci.com/?o=1234567890123456作業/ 239 /運行/ 1”,:“run_type JOB_RUN”,“attempt_number”: 0},…),“has_more”:假的}
如果has_more
返回真正的
,額外的信息是可用的。使用——抵消
選擇返回運行相對於最近運行的信息。例如,返回信息從第十最近運行,指定——抵消10
。
使用——限製
選擇返回固定數量的運行信息。例如,要為下一個5分返回信息,指定——限製5
。您可以指定多達1000。如果沒有指定,默認為20。
提交一次運行
顯示使用文檔,運行磚運行提交——幫助
。
2.0工作REST API請求和響應的例子
submit-run.json
:
{“run_name”:“my-spark-run”,“new_cluster”:{“spark_version”:“7.3.x-scala2.12”,“node_type_id”:“r3.xlarge”,“aws_attributes”:{“可用性”:“ON_DEMAND”},“num_workers”:10},“庫”:({“罐子”:“dbfs: / my-jar.jar”},{“專家”:{“坐標”:“org.jsoup: jsoup: 1.7.2”}}),“spark_jar_task”:{“main_class_name”:“com.databricks.ComputeModels”}}
{“run_id”: 123}