砖发射的“工作”功能为生产工作负载

砖现在包括一个新功能叫做工作,使支持运行的生产管道,由独立的火花的应用程序。工作包括一个调度程序,使数据科学家和工程师来指定一个周期安排他们的生产工作,将根据指定的时间表执行。

笔记本电脑作为工作

除了支持运行Apache火花独立应用程序,工作特性提供了一个独特的功能,允许运行数据砖笔记本工作。,一份工作可以指定使用现有的笔记本,然后根据指定的时间表执行。这使互动勘探和生产之间的无缝过渡。因此,数据科学家可以使用笔记本电脑之前,执行他们的交互式数据探索。一旦笔记本是足够发达,它可以转换到生产使用工作,无需费时代码重写。每次运行的输出工作,包括图形输出,也是存储为一个笔记本,可以开了,用作任何其他笔记本,允许交互式调试的答案或进一步的探索。这样,数据科学家可以反复迭代和改善他们的工作,而不必花时间重写和不同系统之间移动代码。

笔记本电脑为工作流

除了笔记本电脑作为工作运行,用户可以运行编译应用程序和库工作。我们发现用户经常使用笔记本电脑来指定一个工作流调用其他独立工作。这样的工作流可以方便脚本语言如Python,使用简单的if指令和异常处理。以这种方式使用笔记本指定生产工作流非常强大,几乎任何模式可以表示使用笔记本。

灵活的集群支持

工作与砖的现有集群的集成。工作可以指定集群使用一个现存的砖。此外,一份工作可以拥有自己的专用指定集群,在每次运行时启动和拆除。这将确保工作都有自己的专用集群,隔离从其他用户造成的错误和工作。在AWS随需应变的情况下,可以启动集群以及更便宜的现货实例。此外,支持混合模式,fallback-on-demand,试图发动大多数集群机器现场实例,但将在按需回退实例如果现货实例的供应是有限的。这样,组织可以一定要得到他们请求的集群,而降低成本在可能的情况下,通过使用实例。

通知支持

工作特性有一个通知系统,它可以配置为发送一封电子邮件给一组用户只要生产工作完成或失败。这是特别重要的工作运行没有human-in-the-loop,只要出现问题需要注意。

发射的工作特性,旨在进一步提高砖的端到端用户体验。笔记本电脑现在可以用于生产工作负载,除了有用库(笔记本可以调用其他笔记本电脑),仪表盘和在线协作。虽然这是第一次正式发布的工作特性,我们有几个客户已经在生产环境中使用它作为我们的早期项目的一部分。

我们很乐意听到你的反馈,请让我们知道你的想法关于这个新功能!