实现数据处理和分析工作流程与工作

您可以使用一个砖工作编排你的数据处理,机器学习或数据分析砖Lakehouse管道。砖工作的许多工作负载类型的支持,包括笔记本、脚本、三角洲生活表管道,砖的SQL查询印度生物技术部项目。以下文章指导您使用砖工作平台的功能和选项来实现您的数据管道。bob体育客户端下载

变换、分析和可视化数据与砖的工作

您可以使用一个工作创建一个数据管道,吸入,变换,分析和可视化数据。中的例子使用SQL在砖砖的工作构建一个管道:

  1. 使用Python脚本使用REST API获取数据。

  2. 使用三角洲生活表摄取和所获取的数据转换和转换后的数据保存到三角洲湖。

  3. 使用工作与砖的集成的SQL来分析转换后的数据并创建图形可视化结果。

使用印度生物技术部转换的工作

使用印度生物技术部任务类型,如果你在做数据转换与印度生物技术部核心项目,希望该项目集成到一个砖的工作,或者你想创建新的印度生物技术部转换和运行这些转换的工作。看到在砖使用印度生物技术部转换工作。

在工作中使用Python包

Python轮子是一种标准的方式打包和分发的文件要求运行Python应用程序。你可以很容易地创建一个工作使用的Python代码打包为一个轮子Python轮任务类型。看到在砖使用Python轮工作。

使用代码打包在一个罐子里

库和应用程序中实现一个JVM语言,比如Java和Scala通常包装在一个Java archive (JAR)文件中。砖的工作支持的代码打包在一个JARJAR任务类型。看到用一罐砖的工作。

使用笔记本或Python代码保存在一个中央存储库

一个共同的方法来管理版本控制和协作生产工件是使用GitHub等中央存储库。砖工作支持创建和运行工作使用笔记本或Python代码从一个存储库进口,包括GitHub或砖回购。看到在砖使用源代码版本控制工作。

安排你们的工作与Apache气流

砖建议使用砖工作编排你的工作流。然而,Apache气流是常用的作为一个工作流编排系统并提供本机支持砖工作。而砖工作提供了一个视觉UI创建工作流,气流使用Python文件定义和部署您的数据管道。例如与气流的创建和运行工作,明白了编排与Apache气流砖工作。