更新5月11日,2022年由阿施施
流工作性能退化
问题你有流的工作有其性能降低。你开始一个新的流媒体工作相同的配置和相同的源,其性能优于现有的工作。原因与旧的检查点可以导致性能下降问题长期运行流工作。这可能发生,如果工作是间歇性哈…
0分钟的阅读时间
2023年3月3日更新,阿施施
工作与NoSuchElementException失败错误
问题你得到间歇工作失败NoSuchElementException错误。堆栈跟踪Py4JJavaError例子:调用o2843.count时发生一个错误。:org.apache.spark。SparkException:工作阶段失败而终止:任务17阶段868.0失败了4次,最近的失败:在舞台上失去了任务17.3 868.0 (TID 3065) (10.249.38.86……
0分钟的阅读时间
更新后的2022年5月19日,由阿施施
冲突的目录结构错误
问题一个Apache火花工作没有与Java . lang断言错误。AssertionError:断言失败:检测到冲突的目录结构。堆栈跟踪造成的例子:org.apache.spark.sql.streaming。StreamingQueryException:有一个错误当试图推断出当前批文件的分区模式。请求……
1分钟的阅读时间
2023年3月3日更新,阿施施
工作与IndexOutOfBoundsException和ArrowBuf错误失败
问题你得到间歇工作失败. lang。IndexOutOfBoundsException和ArrowBuf错误。堆栈跟踪Py4JJavaError例子:调用o617.count时发生一个错误。:org.apache.spark。SparkException:工作阶段失败而终止:任务0阶段7.0失败了4次,最近的失败:在舞台上失去了任务0.3 7.0 (TID 2…
2分钟的阅读时间
更新后的2022年5月19日,由阿施施
工作开始前仍然闲置
问题一个Apache火花工作正确触发,但仍然闲置很长一段时间之前开始。你有火花的工作,跑一段时间,但闲置很长一段时间恢复。症状包括:集群缩减规模在空闲时间工作节点的最小数量。司机日志不表现出任何火花工作在idl中……
0分钟的阅读时间
更新后的2022年5月19日,由阿施施
流工作使用动作连接失败
问题你有流工作写入动作水槽,并没有与内存不足错误消息。. lang。OutOfMemoryError: GC开销限制超过. lang。OutOfMemoryError: Java堆空间。症状包括:Ganglia显示逐步增加JVM内存使用。Microbatch分析显示输入和处理速率consisten……
0分钟的阅读时间
更新5月11日,2022年由阿施施
Apache火花UI显示错误的就业人数
问题你是审查活动Apache火花工作一个集群的数量在火花UI,但太高,数量是准确的。如果你重新启动集群,乔布斯火花UI中显示的数量是正确的,但随着时间的推移,它变得异常高。引起火花UI并不总是准确的为大,或长时间运行,集群由于……
0分钟的阅读时间
加载更多