在SpotX，我们已经构建并维护了Spark Streaming应用程序组合——所有这些应用程序的处理记录都以每分钟数百万计。从纯数据摄取，到ETL，到实时报告，再到面向客户的实时产品和功能，持续应用是我们的DNA。跟我们一起来吧，我们概述了我们的旅程从一开始到现在在火花流的世界。我们将详细介绍我们在高效处理和监控、可靠性和稳定性以及流媒体应用程序的长期支持方面所学到的知识。请从我们的错误中吸取教训，并留下一些方便的设置和设计，您可以在自己的流媒体应用程序中实现。
Jack Chapa是SpotX的高级大数据工程师，在为公司提供动力的大数据管道中发挥着关键作用。他为可靠的24/7流媒体应用程序、ETL管道和基础设施设计做出了贡献。而且，他喜欢Scala和Spark!
Landon是SpotX的高级大数据工程师，SpotX是一个每天覆盖数亿人的视频广告服务平台。bob体育客户端下载他设计的管道每天在Spark中处理几十tb的数据，他喜欢为难以扩展的问题构建解决方案。