问题

你的工作失败的Python的内核是一个反应迟钝的错误消息。

致命错误:Python的内核是反应迟钝。

导致

如果集群耗尽内存,Python内核可以崩溃。

这通常发生在运行内存密集型操作与相对较小的实例或并行运行多个笔记本或工作时在同一集群。

解决方案

实现以下策略来解决反应迟钝的Python内核问题:

• 使用集群工作的非交互式工作,而不是通用的集群。避免一个通用的集群上运行批处理作业。
• 确保您的集群配置使用适当的类型和尺寸有效管理预期的工作负载。考虑增加集群大小通过添加更多的工人节点或扩充现有节点的内存容量。
• 优化数据管道同时减少处理的数据量。
• 跨多个集群分发工作负载如果同时运行多个笔记本或者工作在同一集群。不管集群的大小,只有一个Apache火花司机节点,不能分布式集群内。
• 如果你的操作内存密集型,确认足够的驱动程序内存可用。小心当使用以下:
  • 的收集()运营商,将大量的数据传输到司机。
  • 将大量DataFrame熊猫DataFrame。
• 监控集群的性能使用Ganglia指标来识别潜在的问题和优化资源的使用。