当得到新的文件触发工作
预览
文件到达触发公共预览。
您可以使用文件到达触发触发运行你的砖工作到达一个新文件外部位置如Amazon S3和Azure存储。您可以使用此功能,当预定的工作可能是低效的,因为新数据到达的时间表。
文件到达触发每分钟检查新文件,且不产生任何额外费用以外的其他云提供商相关费用清单文件的存储位置。
需求
以下是需要使用文件到达触发:
工作区必须统一目录启用。
你必须使用一个外部位置添加到目录metastore统一。看到管理外部位置和存储凭证。
你必须有
读
外部位置和权限可以管理
在工作权限。关于工作权限的更多信息,请参阅工作访问控制。
添加一个文件到达触发
添加一个文件到达触发工作:
在侧边栏中,单击工作流。
在的名字列在工作选项卡中,单击工作名称。
在工作细节右边的面板,点击添加触发器。
在触发类型中,选择文件的到来。
在存储位置,输入外部位置或一个子目录的URL的外部位置监控。
(可选)配置高级选项:
最小间隔时间触发在几秒钟内:最低时间等待触发运行之前运行完成之后。文件到达这一时期引发等待时间到期后只运行。使用这个设置来控制创建的频率运行。
后等待最后一秒的变化:时间等引发运行后文件的到来。在这段时间重置计时器到达另一个文件。这个设置可以使用批量文件到达时,整个批处理所有文件已经到达后需要处理。
验证配置,单击测试连接。
点击保存。
接收通知到达触发失败的文件
通知如果一个文件的到来引发无法评估,配置电子邮件或系统目的地通知工作失败。看到添加电子邮件和系统工作的通知事件。