使用笔记本时会有一些常见问题本节概述一些常见问题和最佳做法,你应该学习

spark作业失败java.lang.noclassDeffforError

有时你可能发现错误像:

scalaja.lang.NoClassDeffereror:无法初始化类线

Spark Scala2.11集群和Scala笔记本,如果组合案例类定义和数据集/DataFrame运算比方说,第一个单元格中表示定义案例类MyClass并创建数据集

scala案例类 MyClass(值:Int)val数据集=spark.CreateDataset

后单元创建实例MyClass内部spark作业

scala数据集.map y

求解

将案例类定义移入自有单元

scala案例类 MyClass(值:Int)///

scalaval数据集=spark.decateDataset(Seq(1))dset.map

spark作业失败java.lang.

有时你可能发现错误像:

Java.Lang.UnsistiveExceptive:

可使用spark2.10集群和Scala笔记本原因和解决方法与前置相同spark作业失败java.lang.noclassDeffforError.