问题
遇到以下报错信息时, 试图将笔记本加到集群或工作失效中 。
运行结果无可用性:作业报错失败 多处执行环境即刻打开
因果
数据布列克创建执行上下文执行上下文包含每种支持编程语言RIPL环境状态:Python、R、Scala和SQL
集群最大数150执行环境145类用户REPLs,其余5类分配为内部系统REPLs,后端操作保留上下文过此阈值后,无法再将笔记本加到集群中
求解
确定您没有禁用集群自检spark配置高山市AWS系统|休眠|GCP)
万一下行显示您的spark配置中,自控失效删除此行可重入自检程序 :
spark.databricks.chauffeur.enableIdleContextTracking false
最佳做法
- 使用作业集群取代交互集群工作集群对每项作业都是避免执行环境耗尽的最佳方式作业集群应用于隔离和可靠性
- 减少单笔记本数以减执行环境数
临时工作变通
作为一种短期解决方案,你可使用集群切入脚本将执行上下文限制从150提高至175
创建 init脚本
以笔记本运行样本脚本以创建集群Init脚本
scalaval initScriptContents=s
/set_exec_context_limit.sh", initScriptContent, true)
记住进取脚本路径配置集群时需要它
配置 init脚本
跟踪文档配置集群范围 init脚本AWS系统|休眠|GCP)
设置目的地原封DBFS系统并指定 init脚本路径使用与样本脚本相同的路径
配置 init脚本后重新启动集群