问题你是试图读取JSON文件。你知道文件数据,但是Apache火花JSON读者返回一个null值。示例代码可以使用这个示例代码来重现该问题。创建一个测试在DBFS JSON文件。% python dbutils.fs.rm (“dbfs: / tmp / json / parse_test.txt”) dbutils.fs.put (“dbfs: / tmp / json / parse_test。txt”、“”“{…

本文信息适用于砖运行时11.3 LTS及以上。问题您正在运行SparkSQL / PySpark代码使用广播提示。需要花费很长的时间来运行比以前砖运行时和/或失败的记忆错误消息。示例代码:df.join(广播(bigDf)) .write.mode .parquet(“覆盖”)(“路径”)错误消息:工作……

问题你想查看SerDe Apache蜂巢上的属性表,但显示Apache火花DDL创建表返回。它不显示SerDe属性。例如,鉴于此示例代码:% sql显示创建表<表标志>你会得到一个结果,没有显示SerDe属性:因为您使用砖矮子…

问题你想使用一个模式创建一个数据集,其中包含Scala枚举字段(类和对象)。当您运行您的代码在笔记本电池,你会获得ClassNotFoundException错误。示例代码% scala对象TestEnum扩展枚举{类型TestEnum =值val E1, E2、E3 =价值}spark.implicits进口。_进口TestEnum。_ c…

问题你想timestamp_millis或unix_millis导入Scala的笔记本,但得到一个错误消息。% scala org.apache.spark.sql.functions进口。{timestamp_millis, unix_millis}错误:价值timestamp_millis org.apache.spark.sql不是一个成员对象。功能导入org.apache.spark.sql.functions。{timestamp_millis, unix_millis}标出……

问题你想给一个或更多的价值作为一个小数精度和等级使用相同值。返回一个null值的期望值。这个示例代码:% sql SELECT铸造(5.345小数(20、20))的回报:导致十进制类型(AWS | Azure | GCP)被声明为十进制(精度、规模),在精度和年代……