实现数据处理和分析工作流程与工作

您可以使用一个砖工作编排你的数据处理,机器学习或数据分析砖Lakehouse管道。砖工作的许多工作负载类型的支持,包括笔记本、脚本、三角洲生活表管道,砖的SQL查询印度生物技术部项目。以下文章指导您使用砖工作平台的功能和选项来实现您的数据管道。bob体育客户端下载

使用印度生物技术部转换的工作

使用印度生物技术部任务类型,如果你在做数据转换与印度生物技术部核心项目,希望该项目集成到一个砖的工作,或者你想创建新的印度生物技术部转换和运行这些转换的工作。看到在砖使用印度生物技术部转换工作。

Python轮子是一种标准的方式打包和分发的文件要求运行Python应用程序。你可以很容易地创建一个工作使用的Python代码打包为一个轮子Python轮任务类型。看到在砖使用Python轮工作。

库和应用程序中实现一个JVM语言,比如Java和Scala通常包装在一个Java archive (JAR)文件中。砖的工作支持的代码打包在一个JARJAR任务类型。看到用一罐砖的工作。

一个共同的方法来管理版本控制和协作生产工件是使用GitHub等中央存储库。砖工作支持创建和运行工作使用笔记本或Python代码从一个存储库进口,包括GitHub或砖回购。看到在砖使用源代码版本控制工作。

砖建议使用砖工作编排你的工作流。然而,Apache气流是常用的作为一个工作流编排系统并提供本机支持砖工作。而砖工作提供了一个视觉UI创建工作流,气流使用Python文件定义和部署您的数据管道。例如与气流的创建和运行工作,明白了编排与Apache气流砖工作。