配配ApachesparkML模型出错

学习如何解决数据错误时安装sparkML模型或管道

写由亚当巴夫拉卡

2022年5月16日

问题

数据布列克匹配sparkML模型或管道时投出错误 :

ache.spark.sparkExceptive:因阶段故障中止作业162.0任务4次失败,最近故障:162.0任务0.3失败

因果

常有错误安装sparkML模型或管道

求解

检查下列问题:

  1. 识别并定位数据集内NULL值spark需要知道如何解决数据集缺失值
    • 丢弃缺值行drodna ()
    • 含零或列平均值等值解决方案取决于对数据集有意义的内容
  2. 确保所有培训数据适当转换成数字格式spark需要知道如何处理绝对字符串变量形形色色特征变换器可用处理数据特例
  3. 检验迭行性.高度相关或甚至重复特征可能引起模型安装问题难得时会发生,但你应该排除它
文章有帮助吗