spark不支持插入新列或嵌套结构中现有列特别是带Column并下降方法选择数据集类不允许指定与顶级列不同的列名举例说,假设你拥有数据集并有下列模式:
scalavalschema=.addds.
模式像:
root++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++
假设你拥有数据Frame:
scalavalrdd:RDD[Row]sc.parlize
您想加法收费列下嵌套书籍乘以1%更新收费列中,您可以从现有列和更新列重构数据集如下:
scalaval更新称df.sruct.metata
取结果
++元项目+++++++++++++++++++++++++++