2022年10月14日更新

带相同数据的不同表格使用时产生不同计划

问题假设你有两个三角洲表测试_表_1和测试_表2双表均有相同模式、相同数据量、相同分区并包含相同数文件并发转换Delta表测试表运行下文时使用测试_表_1并测试_

分钟阅读时间
2023年7月28日更新

发现重复列错误块创建三角洲表

问题有数列结构列和数列重复列名尝试创建Delta表时,数据中会发现重复列以保存:错误示例代码使用此示例代码复制错误1) 第一步搭建数组并重列名重复列a

分钟阅读时间
2022年10月26日更新

Spark3.0及以上使用日期时间值

问题从无支持集群运行DatabricksRuntime6.6作业和/或笔记本处理日期转换时,用升级集群运行后使用sparkUpti.

分钟阅读时间
加载更多