砖笔记本的执行上下文
当你把一个笔记本一个集群,砖创建一个执行上下文。一个执行上下文包含的状态REPL环境对于支持的每种编程语言:Python, R, Scala和SQL。当您运行一个细胞在一个笔记本,REPL命令派遣到适当的语言环境和运行。
您还可以使用命令执行API创建一个执行上下文和发送一个命令在执行上下文中运行。同样,REPL命令派遣到语言环境和运行。
一个集群的最大数量的执行上下文(145)。一旦执行上下文的数量已经达到了这个门槛,你不能把一个笔记本集群或创建一个新的执行上下文。
闲置的执行上下文
被认为是一个执行上下文闲置当最后完成执行发生过去一套闲置的阈值。最后完成执行笔记本完成最后一次执行的命令。空闲的时间阈值,最后执行和完成之间必须通过任何试图自动分离的笔记本。
当一个集群已经达到最大限制,砖删除(清除)闲置执行上下文(从最近最少使用)。即使一个上下文删除,使用上下文是笔记本仍然附着在集群和集群中出现的笔记本列表。流笔记本运行被认为是积极的,他们的背景是永远驱逐,直到他们已经停止执行。如果一个空闲的上下文是驱逐,UI显示一条消息,表明笔记本使用上下文分离是由于被闲置。
如果你试图把一个笔记本集群最大数量的执行上下文和没有空闲的上下文(或者如果auto-eviction禁用),UI显示一条消息说,当前已经达到最大执行上下文阈值和笔记本仍将处于分离状态。
如果你叉一个过程,无所事事的执行上下文仍被视为一次派生过程返回请求的执行。分支独立的过程不推荐与火花。
配置上下文auto-eviction
Auto-eviction默认情况下是启用的。为一个集群,禁用auto-eviction设置火花财产spark.databricks.chauffeur.enableIdleContextTracking假。