磚支持使用外部metastores而不是默認的蜂巢metastore。
您可以導出所有表元數據從外部metastore蜂巢。
- 使用Apache的火花目錄API列表中包含的數據庫中的表metastore。
- 使用顯示創建表生成ddl語句並將它們存儲在一個文件中。
- 使用文件表ddl導入外部metastore。
下麵的代碼完成前兩個步驟。
% python dbs = spark.catalog.listDatabases (db)在dbs: f =開放(“your_file_name_ {} .ddl”.format (db.name),“w”)表= spark.catalog.listTables (db.name) t表:DDL =火花。sql(“顯示創建表{}. {}”.format (db.name t.name)) f.write (DDL.first () [0]) f.write (“\ n”) f.close ()
您可以使用生成的文件導入表ddl外部metastore。