如何更新嵌套列

学习如何更新databricks嵌套列

写由亚当巴夫拉卡

2022年5月31日

spark不支持插入新列或嵌套结构中现有列特别是带Column下降方法选择数据集类不允许指定与顶级列不同的列名举例说,假设你拥有数据集并有下列模式:

scalavalschema=.addds.

模式像:

root++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++

假设你拥有数据Frame:

scalavalrdd:RDD[Row]sc.parlize

您想加法收费列下嵌套书籍乘以1%更新收费列中,您可以从现有列和更新列重构数据集如下:

scalaval更新称df.sruct.metata

取结果

++元项目+++++++++++++++++++++++++++


文章有帮助吗