教程:管道运行第一个三角洲住表
本教程向您展示了如何配置一个三角洲生活表数据管道从代码在一个砖笔记本和触发更新。提供的指令一般足以满足大多数笔记本电脑正确地定义三角洲生活表的语法。
您可以使用这些指令安排按照创建笔记本Python或SQL三角洲住表教程,或导入和使用的一个笔记本电脑这个页面上提供。
您可以配置三角洲生活表管道使用砖和触发更新工作区UI或自动化工具选项如API和CLI。砖建议首先熟悉各种用户界面,可用于生成JSON编程式执行配置文件。
重要的
开始一个管道,你必须有集群创建权限或访问集群政策定义一个三角洲集群生活表。三角洲生活表运行时创建一个集群在它运行你的管道和失败如果你没有正确的权限。
要运行这个例子,请选择
蜂巢metastore当您创建管道的存储选项。因为这个例子从DBFS读取数据,不能运行这个例子与管道配置为使用统一目录存储选项。
创建一个管道
三角洲生活表创建管道通过笔记本或文件中定义(称为解决依赖关系源代码或库)使用三角洲住表的语法。每个源代码文件只能包含一个语言,但是你可以在管道中混合图书馆不同的语言。
点击
工作流在侧边栏,单击三角洲生活表选项卡,并单击创建管道。给管道名称并单击
选择一个笔记本。选择触发为管道模式。
(可选)输入存储位置输出数据的管道。系统使用一个默认的位置如果你离开存储位置空的。
(可选)指定一个目标模式发布你的蜂巢metastore或数据集目录和一个目标模式发布您的数据到统一目录。看到发布数据集。
(可选)单击通知配置一个或多个电子邮件地址为管道接收通知事件。看到为管道添加邮件通知事件。
点击创建。
工作流在侧边栏,单击三角洲生活表选项卡,并单击创建管道。
选择一个笔记本。系统显示管道的细节你点击后页面创建。您还可以访问您的管道中通过单击管道名称三角洲生活表选项卡。
开始一个管道更新
开始一个更新的管道,单击
按钮在顶部面板。系统返回一个消息确认你的管道是开始。
成功启动更新后,三角洲生活表系统:
开始一个集群使用一个集群配置由三角洲生活表系统。你也可以指定一个自定义的集群配置。
创建任何表,并确保不存在任何现有表的模式是正确的。
最新的数据更新表。
关闭集群更新完成后。
请注意
执行模式设置生产默认情况下,为每个更新部署短暂的计算资源。您可以使用发展模式改变这种行为,允许相同的计算资源被用于多个管道更新在开发和测试期间。看到开发和生产模式。
发布数据集
你可以三角洲生活表数据集用于查询通过发布表蜂巢metastore或统一目录。如果你不指定一个目标为发布数据,表三角洲生活中创建表管道只能访问其他操作在同一管道。看到从三角洲住表发布数据蜂巢metastore管道和使用统一的目录与三角洲住表管道。
示例源代码笔记本
可以导入这些笔记本到砖工作区和使用它们来部署一个三角洲的生活表管道。更多地BOB低频彩了解使用的逻辑和语法在这些笔记本,看到的与Python教程:声明一个数据管道三角洲生活表或教程:声明一个数据管道使用SQL在三角洲住表。