问题
从元存储器取取所有表名可同时使用spark.catalog.listTables()或sql显示表.观察时间提取细节spark.catalog.listTables()通常需要长于sql显示表.
因果
spark.catalog.listTables()尝试先取表元数据并显示请求表名处理复杂图案和大数表时进程慢
求解
只取表名使用sql显示表内部引用SessionCatalog.listTables只取表名
学习如何列表表名databricks
从元存储器取取所有表名可同时使用spark.catalog.listTables()或sql显示表.观察时间提取细节spark.catalog.listTables()通常需要长于sql显示表.
spark.catalog.listTables()尝试先取表元数据并显示请求表名处理复杂图案和大数表时进程慢
只取表名使用sql显示表内部引用SessionCatalog.listTables只取表名