如何創建表ddl導入外部metastore嗎

學習如何從蜂巢導出所有表元數據到外部metastore磚。

寫的亞當Pavlacka

去年發表在:2022年5月16日

磚支持使用外部metastores而不是默認的蜂巢metastore。

您可以導出所有表元數據從外部metastore蜂巢。

  1. 使用Apache的火花目錄API列表中包含的數據庫中的表metastore。
  2. 使用顯示創建表生成ddl語句並將它們存儲在一個文件中。
  3. 使用文件表ddl導入外部metastore。

下麵的代碼完成前兩個步驟。

% python dbs = spark.catalog.listDatabases (db)在dbs: f =開放(“your_file_name_ {} .ddl”.format (db.name),“w”)表= spark.catalog.listTables (db.name) t表:DDL =火花。sql(“顯示創建表{}. {}”.format (db.name t.name)) f.write (DDL.first () [0]) f.write (“\ n”) f.close ()

您可以使用生成的文件導入表ddl外部metastore。

這篇文章有用嗎?