Delta Live Tables简介
预览
此功能已在公共预览.
Delta Live Tables是一个用于构建可靠、可维护和可测试的数据处理管道的框架。您可以定义要对数据执行的转换,Delta Live Tables管理任务编排、集群管理、监控、数据质量和错误处理。
Delta Live Tables不是使用一系列单独的Apache Spark任务来定义数据管道,而是根据为每个处理步骤定义的目标模式来管理数据的转换方式。您还可以使用Delta Live表强制数据质量预期.期望允许您定义期望的数据质量,并指定如何处理未能达到这些期望的记录。
要开始使用Delta Live Tables:
开发您的第一个Delta Live Tables管道快速入门.
了解基本的Delta Live表概念.
了解如何使用Delta Live Tables创建、运行和管理管道用户界面.
了解如何管理Delta Live Tables管道中的数据质量预期.
BOB低频彩了解更多关于Delta活动表的信息:
在Delta Live Tables管道中使用外部数据源:数据源
使用Delta Live Tables管道生成的数据:发布的数据
高效地处理在Delta Live Tables管道中不断到达的数据:流数据处理
在Delta Live Tables管道中使用更改数据捕获(CDC)处理:使用Delta Live表更改数据捕获
使用Delta Live Tables API:API指南
使用Delta Live Tables命令行接口:CLI
配置Delta Live Tables管道:管道的设置
分析并报告Delta Live Tables管道:查询事件日志
使用流行的工作流编排工具运行Delta Live Tables管道:工作流工具集成
了解如何使用访问控制列表(acl)在Delta Live Tables管道上配置权限:访问控制
为Delta Live Tables找到答案和解决方案: