喬布斯CLI(遺留)
重要的
這個文檔已經退休了,可能不會被更新。
這個信息適用於遺留數據磚CLI版本0.17及以下。磚建議你使用新磚CLI的版本0.200或更高版本。看到磚CLI。找到你的版本的磚CLI,運行磚- v。
從磚CLI或低於0.17版本遷移到磚CLI版本0.200或更高版本,看看磚CLI的遷移。
你跑磚工作CLI子命令通過添加磚工作和磚的工作運行CLI子命令的附加磚運行。磚工作運行CLI子命令,請參閱CLI(遺留)。在一起,這些子命令調用喬布斯API和喬布斯API 2.0。
重要的
磚的工作CLI支持調用兩個版本的磚工作REST API:版本2.1和2.0。2.1版本增加了支持與多個任務編排工作;看到創建和運行數據磚的工作和喬布斯API更新。磚建議你叫2.1版本,除非你有遺留的腳本依賴版本2.0和無法遷移。
除非另有規定,本文中描述的程序性行為同樣適用於版本2.1和2.0。
要求調用REST API 2.1工作
設置和使用磚工作CLI(和工作運行CLI)調用工作REST API 2.1,執行以下操作:
更新CLI0.16.0版或以上。
做下列之一:
運行以下命令
磚工作配置——版本= 2.1。這增加了設置jobs-api-version=2.1到文件~ / .databrickscfg在Unix、Linux、或macOS或% USERPROFILE % \ .databrickscfg在Windows上。所有工作CLI(和工作運行CLI)子命令調用REST API 2.1默認情況下工作。手動添加背景
jobs-api-version=2.1到文件~ / .databrickscfg在Unix、Linux、或macOS或% USERPROFILE % \ .databrickscfg在Windows上。所有工作CLI(和工作運行CLI)子命令調用REST API 2.1默認情況下工作。附加的選項
——版本= 2.1(例如,磚工作列表——版本= 2.1)指導工作CLI調用隻工作2.1 REST API調用。
如果你之前沒有采取行動,工作CLI(和工作運行CLI)將調用REST API 2.0默認情況下工作。
要求調用REST API 2.0工作
設置和使用磚工作CLI(和工作運行CLI)調用工作REST API 2.0,做以下之一:
使用一個版本的磚CLI 0.16.0以下,或
更新CLIX.Y.版Z或以上,然後做下列之一:
運行以下命令
磚工作配置——版本= 2.0。這增加了設置jobs-api-version=2.0到文件~ / .databrickscfg在Unix、Linux、或macOS或% USERPROFILE % \ .databrickscfg在Windows上。所有工作CLI(和工作運行CLI)子命令調用REST API 2.0默認情況下工作。手動添加背景
jobs-api-version=2.0到文件~ / .databrickscfg在Unix、Linux、或macOS或% USERPROFILE % \ .databrickscfg在Windows上。所有工作CLI(和工作運行CLI)子命令調用REST API 2.0默認情況下工作。附加的選項
——版本= 2.1(例如,磚工作列表——版本= 2.0)指導工作CLI調用隻工作2.0 REST API調用。
如果你之前沒有采取行動,工作CLI(和工作運行CLI)將調用REST API 2.0默認情況下工作。
子命令和一般使用
磚工作- h
用法:磚工作[選項]命令(ARGS)……公用事業與工作。工作運行是由“磚”運行。選項:- v、——版本(版本)- h,幫助顯示此消息並退出。命令:創建創建一個工作。選項:- JSON文件路徑包含JSON請求的文件發布. . / api / 2.0 /工作/創建。——json json json字符串發布. . / api / 2.0 /工作/創建。delete刪除工作。選項:——作業標識JOB_ID可以在URL https:// < databricks-instance > / ? o = < 16-digit-number > #工作/ JOB_ID美元。(需要)獲得一份工作描述的元數據。 Options: --job-id JOB_ID Can be found in the URL at https:///?o=<16-digit-number>#job/$JOB_ID. [required] list Lists the jobs in the Databricks Job Service. reset Resets (edits) the definition of a job. Options: --job-id JOB_ID Can be found in the URL at https:///?o=<16-digit-number>#job/$JOB_ID. [required] --json-file PATH File containing JSON request to POST to ../api/2.0/jobs/create. --json JSON JSON string to POST to ../api/2.0/jobs/create. run-now Runs a job with optional per-run parameters. Options: --job-id JOB_ID Can be found in the URL at https:///#job/$JOB_ID. [required] --jar-params JSON JSON string specifying an array of parameters. i.e. '["param1", "param2"]' --notebook-params JSON JSON string specifying a map of key-value pairs. i.e. '{"name": "john doe", "age": 35}' --python-params JSON JSON string specifying an array of parameters. i.e. '["param1", "param2"]' --spark-submit-params JSON JSON string specifying an array of parameters. i.e. '["--class", "org.apache.spark.examples.SparkPi"]'
創建一個工作
顯示使用文檔,運行磚工作創建——幫助。
2.0工作CLI請求負載和響應的例子
create-job.json:
{“名稱”:“我的工作”,“existing_cluster_id”:“1234 - 567890 reef123”,“notebook_task”:{“notebook_path”:“/用戶/ someone@example.com/My筆記本”},“email_notifications”:{“on_success”:(“someone@example.com”),“on_failure”:(“someone@example.com”]}}
{“job_id”: 246}
提示
複製一份工作,運行創建命令,通過一個JSON對象的設置工作副本。這個例子副本的設置工作的ID246年到一個新的工作。它要求金橋實用程序。
SETTINGS_JSON=$ (磚工作得到,作業標識246年|金橋.settings)磚工作創建——json”SETTINGS_JSON美元”
{“job_id”: 247}
刪除一個工作
顯示使用文檔,運行磚工作刪除——幫助。
磚工作刪除——作業標識246年
如果成功,沒有顯示輸出。
提示
刪除多個作業擁有相同的設置,得到的工作相匹配的id列表設置,然後運行刪除命令對每個ID匹配工作。這個例子中刪除所有工作的作業名無標題的。它要求金橋實用程序。
磚工作——輸出列表json|金橋”。工作[]|選擇(.settings.name = =“無題”)| .job_id”|xargs - n1磚工作刪除——作業標識
列表信息的工作
顯示使用文檔,運行磚工作得到——幫助。
2.0工作CLI反應的例子
{“job_id”: 246年,"設置":{“名稱”:“我的工作”,“existing_cluster_id”:“1234 - 567890 reef123”," email_notifications ": {“on_success”:(“someone@example.com”),“on_failure”:(“someone@example.com”]},“timeout_seconds”: 0," notebook_task ": {:“notebook_path /用戶/ someone@example.com/My筆記本”},“max_concurrent_runs”: 1},“created_time”: 1620163107742,“creator_user_name”:“someone@example.com”}
可用的信息列表工作
顯示使用文檔,運行磚工作列表——幫助。
2.0工作CLI反應的例子
{“工作”:({“job_id”: 246年,"設置":{“名稱”:“我的工作”,“existing_cluster_id”:“1234 - 567890 reef123”," email_notifications ": {“on_success”:(“someone@example.com”),“on_failure”:(“someone@example.com”]},“timeout_seconds”: 0," notebook_task ": {:“notebook_path /用戶/ someone@example.com/My筆記本”},“max_concurrent_runs”: 1},“created_time”: 1620163107742,“creator_user_name”:“someone@example.com”},…]}
工作列表頁(僅2.1 API)
返回一個分頁的工作列表,使用——限製和——抵消參數。默認情況下,工作列表返回一個表包含工作ID和名稱。可以返回一個JSON文檔,其中包含的工作信息,使用——輸出JSON論點。
使用——限製和——抵消參數,必須將API版本設置為2.1。
當使用——輸出JSON,返回列表創建日期降序排列的工作。當使用——輸出表,返回列表創建日期降序排列的工作,然後由工作名字按字母順序排序。
下麵的示例頁麵通過工作列表10工作時間和以JSON格式返回結果:
磚工作列表JSON輸出——極限10磚工作列表JSON輸出——極限10——抵消10磚工作列表JSON輸出——極限10——抵消20.
改變設置工作
顯示使用文檔,運行磚工作重置——幫助。
喬布斯CLI 2.0請求的例子
reset-job.json:
{“job_id”:246年,“existing_cluster_id”:“2345 - 678901 batch234”,“名稱”:“my-changed-job”,“notebook_task”:{“notebook_path”:“/用戶/ someone@example.com/My其他筆記本”},“email_notifications”:{“on_success”:(“someone-else@example.com”),“on_failure”:(“someone-else@example.com”]}}
如果成功,沒有顯示輸出。