砖支持使用外部metastores而不是默认的蜂巢metastore。
您可以导出所有表元数据从外部metastore蜂巢。
- 使用Apache的火花目录API列表中包含的数据库中的表metastore。
- 使用显示创建表生成ddl语句并将它们存储在一个文件中。
- 使用文件表ddl导入外部metastore。
下面的代码完成前两个步骤。
% python dbs = spark.catalog.listDatabases (db)在dbs: f =开放(“your_file_name_ {} .ddl”.format (db.name),“w”)表= spark.catalog.listTables (db.name) t表:DDL =火花。sql(“显示创建表{}. {}”.format (db.name t.name)) f.write (DDL.first () [0]) f.write (“\ n”) f.close ()
您可以使用生成的文件导入表ddl外部metastore。