问题

集群运行数据布列克斯运行时间11.3LTS或以上终止失败绑定报错消息

死难破例终结驱动Java.io.IOExceptive:

因果

多重进程试图使用同端口时可以发生这种情况。数据布列克斯运行时间11.3LTSIPython内核高山市AWS系统|休眠|GCP)作为6062端口默认 REPL

如果您有其他软件配置在同一端口运行,它可能导致冲突(例如Datadog通常配置在端口6062上)。冲突发生时驱动节点可能无法启动 。

求解

作为一种变通方法,你可配置集群使用标准Python外壳作为集群默认REPLspark配置高山市AWS系统|休眠|GCP)

spark.databricks.python.defaultPythonRepl pythonshell

禁止集群使用IPython内核结果是没有端口冲突,驱动节点成功启动