任务抢占

Apache火花在砖自动挑出毛病的任务调度程序执行公平分享。这保证互动响应时间在集群上许多并发运行的工作。

提示

当调度器任务抢占的,他们杀原因将被设置抢占通过调度器。这个原因是可见的UI和火花可以用来调试抢占行为。

抢占选项

默认情况下,抢占保守:作业可以缺乏资源的调度程序干预前30秒。您可以调整抢占通过设置以下火花在集群启动时配置属性:

  • 抢占是否应该启用。

    spark.databricks.preemption。使真正的

  • 应得的分数,以保证每个工作。设置这个1.0意味着调度器将积极尝试保证完美的公平分享。设置这个0.0有效禁用抢占。默认设置为0.5,这意味着最糟糕的就业将会得到一半的公平的份额。

    spark.databricks.preemption。0.5阈值

  • 工作多长时间必须保持饥饿之前抢占。设置这个降低值将提供更多的互动响应时间,在集群的成本效率。推荐值从1 - 100秒。

    spark.databricks.preemption。超时30年代

  • 多长时间调度程序将检查任务抢占。这应该被设置为小于抢占超时。

    spark.databricks.preemption.interval 5 s

有关作业调度的进一步信息,请参阅安排在一个应用程序。