三角洲生活表CLI(遗留)
重要的
这个文档已经退休了,可能不会被更新。
这个信息适用于遗留数据砖CLI版本0.17及以下。砖建议你使用新砖CLI的版本0.200或更高版本。看到砖CLI。找到你的版本的砖CLI,运行砖- v。
从砖CLI或低于0.17版本迁移到砖CLI版本0.200或更高版本,看看砖CLI的迁移。
运行数据砖三角洲生活表CLI子命令通过添加砖管道。这些子命令调用三角洲生活表API。
砖管道- h
用法:砖管道[选项]命令(ARGS)……效用与管道砖三角洲的生活表。选项:- v、——版本0.17.0调试调试模式。显示完整的堆栈跟踪误差。——概要文本使用CLI连接配置文件。默认的配置文件是“默认”。- h,帮助显示此消息并退出。命令:创建创建一个管道。delete删除管道和取消任何积极更新。部署(弃用)这个命令是弃用,使用创建和编辑命令。 Creates or edits a pipeline specified by the pipeline settings. edit Edits a pipeline. get Gets a pipeline's current settings and status. list Lists all pipelines and their statuses. reset [Deprecated] Use the "start --full-refresh" command instead. Resets a pipeline so that data can be reprocessed from the beginning. run [Deprecated] Use the "start" command instead. Starts a pipeline update. start Starts a pipeline update. stop Stops the pipeline by cancelling any active update.
创建一个管道
显示使用文档,运行砖管道创建——帮助。
使用
create-pipeline.json砖管道的创建——设置
create-pipeline.json:
{“名称”:“维基百科”管道(SQL),“存储”:“/用户/用户名/数据”,“集群”:({“标签”:“默认”,“自动定量”:{“min_workers”:1,“max_workers”:5}}),“库”:({“笔记本”:{“路径”:“/用户/用户名/δ生活表快速入门(SQL)”}}),“目标”:“wikipedia_analysis”,“连续”:假}
成功创建了管道:https:// < databricks-instance > / # joblist /管道/ 4 ee6b5c2 ec - 7017 - 11 - 90 - d6 - 0242 - ac120003 ID: 4 ee6b5c2 ec - 7017 - 11 - 90 - d6 - 0242 - ac120003。
编辑一个管道
显示使用文档,运行砖管道编辑——帮助。
使用
砖管道edit-pipeline.json编辑——设置
edit-pipeline.json:
{“id”:“4 ee6b5c2 - 7017 - 11 - ec - 90 - d6 - 0242 ac120003”,“名称”:“维基百科”管道(SQL),“存储”:“/用户/用户名/数据”,“集群”:({“标签”:“默认”,“自动定量”:{“min_workers”:1,“max_workers”:3}}),“库”:({“笔记本”:{“路径”:“/用户/用户名/δ生活表快速入门(SQL)”}}),“目标”:“wikipedia_quickstart_data”,“连续”:假}
成功编辑管道设置:https:// < databricks-instance > / # joblist /管道/ 4 ee6b5c2 ec - 7017 - 11 - 90 - d6 - 0242 - ac120003。
得到信息管道
显示使用文档,运行砖管道得到——帮助。
使用
砖管道得到——pipeline-id 4 ee6b5c2 - 7017 - 11 - ec - 90 - d6 - 0242 ac120003
{“pipeline_id”:“4 ee6b5c2 - 7017 - 11 - ec - 90 - d6 - 0242 ac120003”,“规范”:{“id”:“4 ee6b5c2 - 7017 - 11 - ec - 90 - d6 - 0242 ac120003”,“名称”:“维基百科”管道(SQL),“存储”:“/用户/用户名/数据”,“集群”:({“标签”:“默认”,“自动定量”:{“min_workers”:1,“max_workers”:5}}),“库”:({“笔记本”:{“路径”:“/用户/用户名/δ生活表快速入门(SQL)”}}),“目标”:“wikipedia_analysis”,“连续”:假},“状态”:“空闲”,“名称”:“维基百科”管道(SQL),“creator_user_name”:“username@www.neidfyre.com”,“last_modified”:1641600056265}
列出所有管道和状态的信息
显示使用文档,运行砖管道列表——帮助。
使用
砖管道的列表
({“pipeline_id”:“8 a93e1b4 - 7024 - 11 - ec - 90 - d6 - 0242 - ac120003”,“状态”:“空闲”,“名称”:“零售销售管道(SQL)”,“latest_updates”:({“update_id”:“9 df03924 - 7024 - 11 - ec - 90 - d6 - 0242 - ac120003”,“状态”:“完成”,“creation_time”:“2021 - 10 - 29 t16:18:57.982z”},{“update_id”:“a57e601c - 7024 - 11 - ec - 90 - d6 - 0242 ac120003”,“状态”:“完成”,“creation_time”:“2021 - 10 - 28 - t18:19:30.371z”}),“creator_user_name”:“user@www.neidfyre.com”},{“pipeline_id”:“b46e2670 - 7024 - 11 - ec - 90 - d6 - 0242 ac120003”,“状态”:“空闲”,“名称”:“DLT快速入门(Python)”,“latest_updates”:({“update_id”:“bcd8fa2e - 7024 - 11 - ec - 90 - d6 - 0242 ac120003”,“状态”:“完成”,“creation_time”:“2021 - 12 - 16 - t18:19:25.827z”},{“update_id”:“c2c7a2c8 - 7024 - 11 - ec - 90 - d6 - 0242 ac120003”,“状态”:“完成”,“creation_time”:“2021 - 10 - 29 t22:22:32.586z”},{“update_id”:“c88d2818 - 7024 - 11 - ec - 90 - d6 - 0242 ac120003”,“状态”:“完成”,“creation_time”:“2021 - 10 - 29 t22:16:18.258z”}),“creator_user_name”:“user@www.neidfyre.com”}]
开始一个管道更新
显示使用文档,运行砖管道开始——帮助。
砖管道开始,pipeline-id 4 ee6b5c2 - 7017 - 11 - ec - 90 - d6 - 0242 ac120003
开始一个更新c6462e2e beb7 - 4 - c24 a9d3 - 962 eaa19781b管道4 ee6b5c2 - 7017 - 11 - 0242 - ac120003 ec - 90 - d6 -。