乔布斯CLI(遗留)
重要的
这个文档已经退休了,可能不会被更新。
这个信息适用于遗留数据砖CLI版本0.17及以下。砖建议你使用新砖CLI的版本0.200或更高版本。看到砖CLI。找到你的版本的砖CLI,运行砖- v。
从砖CLI或低于0.17版本迁移到砖CLI版本0.200或更高版本,看看砖CLI的迁移。
你跑砖工作CLI子命令通过添加砖工作和砖的工作运行CLI子命令的附加砖运行。砖工作运行CLI子命令,请参阅CLI(遗留)。在一起,这些子命令调用乔布斯API和乔布斯API 2.0。
重要的
砖的工作CLI支持调用两个版本的砖工作REST API:版本2.1和2.0。2.1版本增加了支持与多个任务编排工作;看到创建和运行数据砖的工作和乔布斯API更新。砖建议你叫2.1版本,除非你有遗留的脚本依赖版本2.0和无法迁移。
除非另有规定,本文中描述的程序性行为同样适用于版本2.1和2.0。
要求调用REST API 2.1工作
设置和使用砖工作CLI(和工作运行CLI)调用工作REST API 2.1,执行以下操作:
更新CLI0.16.0版或以上。
做下列之一:
运行以下命令
砖工作配置——版本= 2.1。这增加了设置jobs-api-version=2.1到文件~ / .databrickscfg在Unix、Linux、或macOS或% USERPROFILE % \ .databrickscfg在Windows上。所有工作CLI(和工作运行CLI)子命令调用REST API 2.1默认情况下工作。手动添加背景
jobs-api-version=2.1到文件~ / .databrickscfg在Unix、Linux、或macOS或% USERPROFILE % \ .databrickscfg在Windows上。所有工作CLI(和工作运行CLI)子命令调用REST API 2.1默认情况下工作。附加的选项
——版本= 2.1(例如,砖工作列表——版本= 2.1)指导工作CLI调用只工作2.1 REST API调用。
如果你之前没有采取行动,工作CLI(和工作运行CLI)将调用REST API 2.0默认情况下工作。
要求调用REST API 2.0工作
设置和使用砖工作CLI(和工作运行CLI)调用工作REST API 2.0,做以下之一:
使用一个版本的砖CLI 0.16.0以下,或
更新CLIX.Y.版Z或以上,然后做下列之一:
运行以下命令
砖工作配置——版本= 2.0。这增加了设置jobs-api-version=2.0到文件~ / .databrickscfg在Unix、Linux、或macOS或% USERPROFILE % \ .databrickscfg在Windows上。所有工作CLI(和工作运行CLI)子命令调用REST API 2.0默认情况下工作。手动添加背景
jobs-api-version=2.0到文件~ / .databrickscfg在Unix、Linux、或macOS或% USERPROFILE % \ .databrickscfg在Windows上。所有工作CLI(和工作运行CLI)子命令调用REST API 2.0默认情况下工作。附加的选项
——版本= 2.1(例如,砖工作列表——版本= 2.0)指导工作CLI调用只工作2.0 REST API调用。
如果你之前没有采取行动,工作CLI(和工作运行CLI)将调用REST API 2.0默认情况下工作。
子命令和一般使用
砖工作- h
用法:砖工作[选项]命令(ARGS)……公用事业与工作。工作运行是由“砖”运行。选项:- v、——版本(版本)- h,帮助显示此消息并退出。命令:创建创建一个工作。选项:- JSON文件路径包含JSON请求的文件发布. . / api / 2.0 /工作/创建。——json json json字符串发布. . / api / 2.0 /工作/创建。delete删除工作。选项:——作业标识JOB_ID可以在URL https:// < databricks-instance > / ? o = < 16-digit-number > #工作/ JOB_ID美元。(需要)获得一份工作描述的元数据。 Options: --job-id JOB_ID Can be found in the URL at https:///?o=<16-digit-number>#job/$JOB_ID. [required] list Lists the jobs in the Databricks Job Service. reset Resets (edits) the definition of a job. Options: --job-id JOB_ID Can be found in the URL at https:///?o=<16-digit-number>#job/$JOB_ID. [required] --json-file PATH File containing JSON request to POST to ../api/2.0/jobs/create. --json JSON JSON string to POST to ../api/2.0/jobs/create. run-now Runs a job with optional per-run parameters. Options: --job-id JOB_ID Can be found in the URL at https:///#job/$JOB_ID. [required] --jar-params JSON JSON string specifying an array of parameters. i.e. '["param1", "param2"]' --notebook-params JSON JSON string specifying a map of key-value pairs. i.e. '{"name": "john doe", "age": 35}' --python-params JSON JSON string specifying an array of parameters. i.e. '["param1", "param2"]' --spark-submit-params JSON JSON string specifying an array of parameters. i.e. '["--class", "org.apache.spark.examples.SparkPi"]'
创建一个工作
显示使用文档,运行砖工作创建——帮助。
2.0工作CLI请求负载和响应的例子
create-job.json:
{“名称”:“我的工作”,“existing_cluster_id”:“1234 - 567890 reef123”,“notebook_task”:{“notebook_path”:“/用户/ someone@example.com/My笔记本”},“email_notifications”:{“on_success”:(“someone@example.com”),“on_failure”:(“someone@example.com”]}}
{“job_id”: 246}
提示
复制一份工作,运行创建命令,通过一个JSON对象的设置工作副本。这个例子副本的设置工作的ID246年到一个新的工作。它要求金桥实用程序。
SETTINGS_JSON=$ (砖工作得到,作业标识246年|金桥.settings)砖工作创建——json”SETTINGS_JSON美元”
{“job_id”: 247}
删除一个工作
显示使用文档,运行砖工作删除——帮助。
砖工作删除——作业标识246年
如果成功,没有显示输出。
提示
删除多个作业拥有相同的设置,得到的工作相匹配的id列表设置,然后运行删除命令对每个ID匹配工作。这个例子中删除所有工作的作业名无标题的。它要求金桥实用程序。
砖工作——输出列表json|金桥”。工作[]|选择(.settings.name = =“无题”)| .job_id”|xargs - n1砖工作删除——作业标识
列表信息的工作
显示使用文档,运行砖工作得到——帮助。
2.0工作CLI反应的例子
{“job_id”: 246年,"设置":{“名称”:“我的工作”,“existing_cluster_id”:“1234 - 567890 reef123”," email_notifications ": {“on_success”:(“someone@example.com”),“on_failure”:(“someone@example.com”]},“timeout_seconds”: 0," notebook_task ": {:“notebook_path /用户/ someone@example.com/My笔记本”},“max_concurrent_runs”: 1},“created_time”: 1620163107742,“creator_user_name”:“someone@example.com”}
可用的信息列表工作
显示使用文档,运行砖工作列表——帮助。
2.0工作CLI反应的例子
{“工作”:({“job_id”: 246年,"设置":{“名称”:“我的工作”,“existing_cluster_id”:“1234 - 567890 reef123”," email_notifications ": {“on_success”:(“someone@example.com”),“on_failure”:(“someone@example.com”]},“timeout_seconds”: 0," notebook_task ": {:“notebook_path /用户/ someone@example.com/My笔记本”},“max_concurrent_runs”: 1},“created_time”: 1620163107742,“creator_user_name”:“someone@example.com”},…]}
工作列表页(仅2.1 API)
返回一个分页的工作列表,使用——限制和——抵消参数。默认情况下,工作列表返回一个表包含工作ID和名称。可以返回一个JSON文档,其中包含的工作信息,使用——输出JSON论点。
使用——限制和——抵消参数,必须将API版本设置为2.1。
当使用——输出JSON,返回列表创建日期降序排列的工作。当使用——输出表,返回列表创建日期降序排列的工作,然后由工作名字按字母顺序排序。
下面的示例页面通过工作列表10工作时间和以JSON格式返回结果:
砖工作列表JSON输出——极限10砖工作列表JSON输出——极限10——抵消10砖工作列表JSON输出——极限10——抵消20.
改变设置工作
显示使用文档,运行砖工作重置——帮助。
乔布斯CLI 2.0请求的例子
reset-job.json:
{“job_id”:246年,“existing_cluster_id”:“2345 - 678901 batch234”,“名称”:“my-changed-job”,“notebook_task”:{“notebook_path”:“/用户/ someone@example.com/My其他笔记本”},“email_notifications”:{“on_success”:(“someone-else@example.com”),“on_failure”:(“someone-else@example.com”]}}
如果成功,没有显示输出。