开始
加载和管理数据
处理数据
政府
参考和资源
2023年2月13日更新
给我们反馈
通过将Databricks作业的CLI子命令追加到砖工作和Databricks作业通过将CLI子命令追加到砖运行.对于Databricks作业运行的CLI子命令,请参见CLI运行.这些子命令一起调用职位API 2.1而且Jobs API 2.0.
砖工作
砖运行
重要的
Databricks作业CLI支持调用两个版本的Databricks作业REST API:版本2.1和2.0。版本2.1增加了对多任务作业编排的支持;看到创建、运行和管理Databricks作业而且job API更新.Databricks建议您调用2.1版本,除非您有依赖于2.0版本且无法迁移的遗留脚本。
除非另有说明,本文中描述的编程行为同样适用于版本2.1和2.0。
要设置和使用Databricks作业命令行(以及作业运行命令行)调用作业REST API 2.1,请执行以下操作:
更新命令行到0.16.0或以上版本。
做以下其中一件事:
执行命令砖工作配置——版本= 2.1.这就添加了设置jobs-api-version=2.1到文件~ / .databrickscfg在Unix、Linux或macOS上运行% USERPROFILE % \ .databrickscfg在Windows上。默认情况下,所有作业CLI(以及作业运行CLI)子命令都将调用jobs REST API 2.1。
砖工作配置——版本= 2.1
jobs-api-version=2.1
~ / .databrickscfg
% USERPROFILE % \ .databrickscfg
手动添加设置jobs-api-version=2.1到文件~ / .databrickscfg在Unix、Linux或macOS上运行% USERPROFILE % \ .databrickscfg在Windows上。默认情况下,所有作业CLI(以及作业运行CLI)子命令都将调用jobs REST API 2.1。
附加选项——版本= 2.1(例如,砖工作列表——版本= 2.1),指示jobs CLI仅为该调用调用jobs REST API 2.1。
——版本= 2.1
砖工作列表——版本= 2.1
如果您不采取上述任何操作,作业CLI(以及作业运行CLI)将默认调用作业REST API 2.0。
要设置和使用Databricks作业CLI(以及作业运行CLI)来调用作业REST API 2.0,请执行以下操作之一:
使用低于0.16.0的Databricks CLI版本
更新命令行转到X.Y.Z或以上版本,然后执行下列其中一项:
执行命令砖工作配置——版本= 2.0.这就添加了设置jobs-api-version=2.0到文件~ / .databrickscfg在Unix、Linux或macOS上运行% USERPROFILE % \ .databrickscfg在Windows上。默认情况下,所有作业CLI(以及作业运行CLI)子命令都将调用作业REST API 2.0。
砖工作配置——版本= 2.0
jobs-api-version=2.0
手动添加设置jobs-api-version=2.0到文件~ / .databrickscfg在Unix、Linux或macOS上运行% USERPROFILE % \ .databrickscfg在Windows上。默认情况下,所有作业CLI(以及作业运行CLI)子命令都将调用作业REST API 2.0。
附加选项——版本= 2.1(例如,砖工作列表——版本= 2.0),指示jobs CLI仅为该调用调用jobs REST API 2.0。
砖工作列表——版本= 2.0
砖工作- h
用法:databricks jobs [OPTIONS] COMMAND [ARGS]…与作业交互的实用程序。作业运行由“databricks runs”处理。选项:-v,——version [version] -h,——help显示此信息并退出。命令:create创建作业。选项:——JSON - File PATH POST到/api/2.0/jobs/create的JSON请求文件。POST到/api/2.0/jobs/create的json字符串。delete删除作业。选项:——job-id JOB_ID可在https://< databicks -instance>/?o=<16-digit-number>#job/$JOB_ID中获取。[必选]get描述作业的元数据。 Options: --job-id JOB_ID Can be found in the URL at https:///?o=<16-digit-number>#job/$JOB_ID. [required] list Lists the jobs in the Databricks Job Service. reset Resets (edits) the definition of a job. Options: --job-id JOB_ID Can be found in the URL at https:///?o=<16-digit-number>#job/$JOB_ID. [required] --json-file PATH File containing JSON request to POST to /api/2.0/jobs/create. --json JSON JSON string to POST to /api/2.0/jobs/create. run-now Runs a job with optional per-run parameters. Options: --job-id JOB_ID Can be found in the URL at https:///#job/$JOB_ID. [required] --jar-params JSON JSON string specifying an array of parameters. i.e. '["param1", "param2"]' --notebook-params JSON JSON string specifying a map of key-value pairs. i.e. '{"name": "john doe", "age": 35}' --python-params JSON JSON string specifying an array of parameters. i.e. '["param1", "param2"]' --spark-submit-params JSON JSON string specifying an array of parameters. i.e. '["--class", "org.apache.spark.examples.SparkPi"]'
要显示使用文档,请运行砖工作创建——帮助.
砖工作创建——帮助
砖工作创建——json-file Create -job.json
看到创建在job API更新.
create-job.json:
create-job.json
{“名称”:“我的工作”,“existing_cluster_id”:“1234 - 567890 reef123”,“notebook_task”:{“notebook_path”:“/用户/ someone@example.com/My笔记本”},“email_notifications”:{“on_success”:[“someone@example.com”],“on_failure”:[“someone@example.com”]}}
{"job_id": 246}
提示
要复制作业,请运行创建命令,并传递一个带有要复制的作业设置的JSON对象。此示例复制ID为的作业的设置246找一份新工作。它需要金桥实用程序。
创建
246
SETTINGS_JSON=$ (砖工作得到,作业标识246|金桥.settings)砖工作创建——json"SETTINGS_JSON美元"
{"job_id": 247}
要显示使用文档,请运行砖工作删除——帮助.
砖工作删除——帮助
数据库作业删除——job-id246
如果成功,则无输出。
若要删除具有相同设置的多个作业,请获取与该设置匹配的作业id列表,然后运行删除命令为每个匹配的作业ID。此示例删除作业名称为的所有作业无标题的.它需要金桥实用程序。
删除
无标题的
砖工作List——输出json|金桥'.job [] | select(.settings.name == "Untitled") | .job_id'|xargs - n1砖工作删除——作业标识
要显示使用文档,请运行砖工作得到——帮助.
砖工作得到——帮助
砖工作得到,作业标识246
看到得到在job API更新.
{“job_id”:246年,"设置":{“名称”:“我的工作”,“existing_cluster_id”:“1234 - 567890 reef123”," email_notifications ": {“on_success”:(“someone@example.com”],“on_failure”:(“someone@example.com”]},“timeout_seconds”:0," notebook_task ": {"notebook_path": "/Users/someone@example.com/My Notebook"},“max_concurrent_runs”:1},“created_time”:1620163107742,“creator_user_name”:“someone@example.com”}
要显示使用文档,请运行砖工作列表——帮助.
砖工作列表——帮助
砖工作列表
看到列表在job API更新.
{“工作”:({“job_id”:246年,"设置":{“名称”:“我的工作”,“existing_cluster_id”:“1234 - 567890 reef123”," email_notifications ": {“on_success”:(“someone@example.com”],“on_failure”:(“someone@example.com”]},“timeout_seconds”:0," notebook_task ": {"notebook_path": "/Users/someone@example.com/My Notebook"},“max_concurrent_runs”:1},“created_time”:1620163107742,“creator_user_name”:“someone@example.com”},...]}
命令命令行通过对API进行连续调用来返回所有作业,可以使用——所有选择。使用——所有选项,你必须将API版本设置为2.1.
——所有
砖工作——所有列表
要返回分页作业列表,请使用——限制而且——抵消参数。默认情况下,作业列表作为包含作业ID和作业名称的表返回。若要返回包含作业信息的JSON文档,请使用——输出JSON论点。
——限制
——抵消
——输出JSON
使用——限制而且——抵消论点,你必须将API版本设置为2.1.
当使用——输出JSON,该列表将按作业创建日期降序返回。当使用——输出表格,该列表将按作业创建日期降序返回,然后按作业名称的字母顺序排序。
——输出表格
下面的示例页面一次列出10个作业,并以JSON格式返回结果:
砖工作list——输出JSON——限制10砖工作list——输出JSON——限制10——抵消10砖工作list——输出JSON——限制10——抵消20.
要显示使用文档,请运行砖工作重置——帮助.
砖工作重置——帮助
砖工作重置,作业标识246——json文件reset-job.json
看到更新而且重置在job API更新.
reset-job.json:
reset-job.json
{“job_id”:246,“existing_cluster_id”:“2345 - 678901 batch234”,“名称”:“my-changed-job”,“notebook_task”:{“notebook_path”:"/Users/someone@example.com/My其他笔记本"},“email_notifications”:{“on_success”:[“someone-else@example.com”],“on_failure”:[“someone-else@example.com”]}}
要显示使用文档,请运行砖工作现在——帮助.
砖工作现在——帮助
砖工作现在,作业标识246
{“run_id”:122年,“number_in_job”:1}