安全监视和威胁反应不同的处理要求大量的日志和遥测数据。处理需求由低延迟交互式查询超过几个月的数据流处理。让事情更有挑战性的工作,我们必须保持保留窗口测量的数据访问。在解决这个问题之前,在大规模环境中使用Apache火花,一遍时,有几件事我知道工作和一些错误我想正确。
我们接近砖上进行合作的挑战:提供一个稳定的统一分析和优化平台,允许我们的团队专注于价值交付使用流媒体,SQL,图表,和毫升;bob体育亚洲版bob体育客户端下载利用解耦的存储和计算而广泛提供高性能的负载;使用S3通知而不是列表操作;把蜂巢Metastore从写路径;对我们的更常见的搜索和索引方法响应时间情况下,没有hard-to-scale索引维护,在我们整个保留窗口。这是关于水果的协作。
多米尼克•Brezinski属于苹果的信息安全领导小组和首席工程师处理响应组织的威胁。他在安全工程有25年经验,专注于入侵检测和事件响应系统的设计和开发。Dom一直在与Apache引发生产自0.8版本。
迈克尔时常要提交者和PMC成员Apache的火花,火花的原始创造者SQL。他在砖目前领导团队,设计并建造了结构化流和砖三角洲。他在2013年获得加州大学伯克利分校的博士学位,并建议由迈克尔·富兰克林,大卫·帕特森,阿曼德狐狸。他的论文侧重于建立系统,使开发人员能够快速构建可伸缩的交互式应用程序,特别是规模独立的概念定义。他的兴趣广泛包括分布式系统、大规模结构化存储和查询优化。(daisna21-speakers)