流媒体在砖
您可以使用砖为近实时数据的摄入,处理、机器学习和人工智能流媒体数据。
砖为流媒体和增量处理提供了众多的优化等等。对于大多数流或增量数据处理或ETL任务,砖建议三角洲生活表。看到δ生活是什么表?。
大多数增量和流媒体工作负载在砖是由结构化流,包括三角洲生活表和自动加载程序。看到自动加载器是什么?。
三角洲湖和结构化流紧密集成功率砖Lakehouse增量处理。看到表流读取和写入。
实时模型服务,明白了_。
了解更BOB低频彩多关于构建流媒体解决方案在砖Lakehouse平台,看到bob体育客户端下载数据流产品页面。
结构化的流媒体是什么?
Apache火花结构化流是一个实时处理引擎,提供端到端容错仅一次处理保证使用熟悉的火花api。结构化的流媒体数据流可以表达计算你以同样的方式表达对静态数据批处理计算。结构化流引擎执行计算的增量,不断更新结果流数据的到来。
如果你新结构化流,明白了第一个结构化流负载运行。
使用结构化流信息的统一目录,看看使用统一的目录和结构化流。
什么流源和汇砖支持吗?
砖建议使用自动加载程序来摄取从云支持文件类型对象存储到三角洲湖。对ETL管道砖建议使用三角洲生活表(使用三角洲表和结构化流)。您还可以配置增量ETL工作负载由三角洲湖流和表。
除了三角洲湖和自动加载程序,结构化流可以连接到消息传递服务例如Apache卡夫卡。