跳转到主要内容
工程的博客

选的技术资产Apache火花的结构化流

2017年8月24日 工程的博客

分享这篇文章

老选集整理一批来自不同作者theme-bounded然后杂志或期刊。更新的选集,然而,包括多个情态动词expressions-digitized现在电子书或者一个博客。两者都提供一个主题的博览会。无论形式如何,它们提供单一来源的主要内容。

在本选集中,我们收集了一组视频,技术博客,播客,和关注的文章Apache火花的结构化流

Apache引发连续应用的一个例子

引发2017年峰会主题:Apache 2.2火花和结构化流演示

砖首席技术专家马泰Zaharia感谢社区的贡献和宣布结构化流准备生产。

容易,可伸缩,容错流处理结构化流在Apache 2.2火花

在不到10行代码中,您可以从Apache卡夫卡,读取流解析JSON负载数据到单独的列,改变它,丰富它通过加入与静态数据和写出来一个表准备批量或特别查询。Apache火花提交者和砖的工程师迈克尔Armbrust和如来佛Das讨论,用具体的例子证明。

此外,他们解释功能,允许基于事件时间的聚合,任意状态操作,使用事件时间水印和自动状态管理。

连续应用:发展流在Apache 2. x火花

去年,砖的首席技术专家马泰Zaharia共享他的愿景的Apache火花流正:连续与结构化的流媒体应用程序是下一步,他写道。

结构化流在Apache火花:一个新的流媒体的高级API

砖的工程师和Apache火花提交者马泰Zaharia如来佛Das,迈克尔·时常要和雷诺鑫阐述流媒体应用程序很难写,为什么和如何结构化流媒体地址的所有潜在的复杂性。

实时流ETL结构化流在Apache 2.1火花:@砖可伸缩的第1部分数据

砖的工程师如来佛Das,迈克尔Armbrust和泰森Condie展示如何做流媒体和实时数据ETL规模。

处理复杂的数据格式与结构化流在Apache 2.1火花:@砖可伸缩的第2部分数据

从砖工程师和Apache火花贡献者Burak•,迈克尔•Armbrust如来佛Das,泰森Condie如何处理复杂的嵌套的数据格式和结构化流。

处理数据在Apache卡夫卡与结构化流在Apache 2.2火花:@砖可伸缩的第3部分数据

砖工程师和火花的贡献者Kunal Khamar泰森Condie和迈克尔时常要展示如何轻松你可以从Apache卡夫卡使用结构化流api读取流在Apache 2.2火花。

事件时间聚合和水印在Apache火花的结构化流:@砖可伸缩的第4部分数据

如何使用简单的事件时间聚合和水印结构流api ?砖工程师和火花的提交者如来佛Das解释了。

在Apache火花的结构化流生产:@砖可伸缩的第5部分数据

你如何确保结构化流媒体应用程序准备生产。产品经理比尔·钱伯斯和Apache火花提交者迈克尔Armbrust躺至关重要的步骤,使用简单的api警报和监视流查询状态。

每天运行流作业一次10 x节约成本:@砖可伸缩的第6部分数据

Apache火花贡献者Burak•泰森Condie演示如何控制和使用简单的api,如控制成本运行一次触发2.2功能添加到结构化流火花。你得到所有的好处催化剂优化器incrementalizing你的工作量和成本节约没有懒懒的集群周围。

任意状态处理在Apache火花的结构化流:@砖可伸缩的第7部分数据

砖产品经理比尔钱伯斯和火花社区传道者朱尔斯Damji演示如何使用结构流api进行定制和任意状态处理

实时与Apache卡夫卡的端到端集成Apache火花的结构化流

砖高级解决方案架构师苏尼尔Sitaula将指导您完成一个端到端的集成Apache卡夫卡,消费信息,做简单到复杂窗口ETL、并推动所需的输出各种沉如记忆、控制台、文件、数据库和卡夫卡本身。

使Apache火花最快的开源流引擎bob下载地址

砖的铅结构化流和火花提交者迈克尔Armbrust说为什么结构化流是最快的开源引擎相比其他流引擎。bob下载地址

Apache火花的结构化流与亚马逊运动砖:快速指南如何开始使用运动连接器

砖的火花社区传道者朱尔斯Damji轮廓步骤使用AWS运动结构化流在Apache 2.2火花砖3.0运行时。

任意状态聚合在Apache结构化流火花

在这个海湾地区Apache火花Meetup说话,Burak•,火花提交者和砖的软件工程师,扩展了如何使用结构化流api来保持状态聚合。

结构化流到Apache 2.0火花

O ' reilly的首席数据科学家Ben Lorica坐下和迈克尔Armbrust谈论生活和结构化流。

火花的结构化流到底是什么意思

离子指针(信息世界的贡献者)提倡DataFrames为什么Apache在火花引发流2.0的最佳选择,以及为什么结构化流是有意义的。

Apache 2.0引入新的火花的结构化流引擎

Datanami坐在首席技术专家和砖马泰Zaharia讨论的所有方面的联合创始人结构化流在Apache火花

接下来是什么?

您可能想要收藏这个页面,我们将更新与我们系列的第7部分结构化流。如果你想尝试一些笔记本电脑的这些资产来探索引发2.2的结构化流特性砖3.0运行时你可以注册一个免费试用

免费试着砖
看到所有工程的博客的帖子