集群失败的致命异常错误。绑定失败。

如果其他软件使用6062端口,它可以与IPython内核REPL冲突,防止司机节点开始。

去年发表在:2023年7月17日

问题

集群运行砖运行时11.3 LTS以上终止的没有绑定错误消息。

致命的异常。终端驱动程序。. io .0.0.0.0/0.0.0.0:6062 IOException:绑定失败

这可能发生,如果多个进程试图使用相同的端口。砖运行时11.3 LTS以上使用IPython内核(AWS|Azure|GCP)作为默认REPL在端口6062上。

如果你有其他软件配置为运行在相同的端口就会导致冲突(例如,Datadog通常在端口6062上配置)。如果发生冲突,司机节点可能无法启动。

作为一个解决方案,你可以配置集群使用标准的Python shell作为默认REPL集群中火花配置(AWS|Azure|GCP)。

spark.databricks.python.defaultPythonRepl pythonshell

这可以防止集群使用IPython内核。因此,没有端口冲突,司机节点成功的开始。