同步

適用於:檢查標記是的磚的SQL檢查標記是的磚運行時

同步命令用於升級外部表在蜂巢Metastore外部表統一目錄。您可以使用它來創建新表統一目錄從現有的蜂巢Metastore表以及時更新統一編目表的源表在蜂巢Metastore改變。

同步命令可以在模式級別使用運行同步模式語法或一個單獨的表使用同步語法。

語法

同步{模式target_schemasource_schema|target_tablesource_table}(老板主要](運行]

參數

  • 模式

    同步一個模式中的所有表。

    • target_schema

      現有的模式在用戶授權統一目錄中創建表。

    • source_schema

      現有的模式中hive_metastore目錄,屬於用戶。

  • 同步一個單獨的表。

    • target_table

      一個新的或現有的表內統一編目模式的用戶授權創建表。如果表已經存在是替換匹配source_table,用戶還必須自己的桌子上。如果表不存在,它將被創建。

    • source_table

      現有的表hive_metastore用戶擁有。

  • 主要

    可選設置升級表統一目錄的所有者主要。默認的所有者是當前用戶。

  • 運行

    檢查是否指定source_table或表內source_schema可以升級不創建或升級目標表。這個命令返回DRY_RUN_SUCCESS如果一個表可以升級。

返回

使用以下報告列:

  • source_schema字符串

    源模式的名稱。模式如果源是一個不受支持的臨時視圖。

  • source_name字符串

    源表的名稱。

  • source_type字符串

    表的類型:管理外部

  • target_catalog字符串

    目標目錄在統一編目表同步。

  • target_schema字符串

    目標模式在統一編目表同步。

  • target_name字符串

    表的名稱統一目錄中的源表的同步。這個名字匹配源表名稱。

  • status_code字符串

    狀態碼的結果同步源表的命令。

  • 描述字符串

    一個描述性的信息同步命令源表的狀態。

常見的返回的狀態碼同步

同步命令提供了一個獨特的status_code輸出為每個表中的字段升級到統一目錄代表升級的狀態。一些常見的狀態代碼的建議來解決這些問題:

  • DRY_RUN_SUCCESS:幹運行成功。

    表可以升級到統一目錄使用同步命令。

  • DBFS_ROOT_LOCATION:表位於磚文件係統的根。

    表位於磚文件係統根目錄的位置。這個不支持統一目錄。複製表數據統一目錄位置使用創建表命令克隆選擇。

  • EXTERNAL_TABLE_IN_MANAGED_LOCATION:外部表路徑不能在管理存儲。

    外部表給出的路徑是在統一目錄管理存儲。如果表需要在管理存儲,更新表如表使用管理創建表命令克隆選擇或移動桌子位置統一目錄管理存儲。

  • HIVE_SERDE:表沒有資格從蜂巢Metastore升級到統一目錄。原因:蜂巢SerDe表。

    蜂巢SerDe表不支持統一目錄。改變表成三角洲格式和問題同步命令來升級。

  • INVALID_DATASOURCE_FORMAT:未指定數據源格式或不支持。

    使用一個支持的數據源格式:三角洲、拚花、CSV、JSON、獸人、文本

  • LOCATION_OVERLAP與其他外部表:輸入路徑重疊。

    表的位置重疊與其他外部表。使用一個不同的位置或刪除表的重疊的外部表。

  • MULTIPLE_EXT_LOCATIONS:輸入路徑包含其他外部位置。

    有超過一個外部位置提供表的子目錄的路徑。檢查表內的外部位置的位置是必要的。

  • MULTIPLE_TARGET_TABLE:不同的同步表已經存在。每個源表隻有一個目標表是被允許的。

    源表已經同步到一個不同的目標表之前,是不允許的。強迫同步到一個不同的表,刪除該表屬性upgraded_to從源表或刪除以前同步表從統一目錄,如果不需要了。

  • NOT_EXTERNAL:表沒有資格從蜂巢Metastore升級到統一目錄。原因:不是一個外部表。

    同步命令隻支持外部表遷移到統一目錄。管理表,創建一個目錄表中統一使用管理創建表命令克隆選擇。

  • READ_ONLY_CATALOG在三角洲:數據共享目錄是隻讀的,不能修改或刪除。

    所選目錄三角洲共享目錄是隻讀的。表在一個隻讀目錄更新後無法使用同步命令。

  • 成功:表成功同步。

  • TABLE_ALREADY_EXISTS:目標表已經存在。

    表具有相同名稱的選擇表中已經存在統一目錄。重命名或刪除現有表的統一目錄和重新運行同步命令。

  • TEMP_TABLE_NOT_SUPPORTED不支持:臨時表或視圖。

    臨時表或視圖不能升級到統一目錄。使用臨時表或視圖,創建統一目錄使用顯示創建表命令統一目錄。

  • 超時:同步任務超時。

    同步命令任務花費了超過300秒完成。增加spark.databricks.sync.command.task.timeout在幾秒鍾內更高的價值。默認值是300。如果錯誤仍然存在聯係的支持。

  • VIEWS_NOT_SUPPORTED:不支持的觀點。

    使用手動創建視圖顯示創建表命令統一目錄。

例子

- - - - - -同步一個現有的蜂巢metastorehive_metastore默認的my_tbl- - - - - -一個團結目錄命名主要默認的my_tbl>同步主要默認的my_tblhive_metastore默認的my_tbl;source_schemasource_namesource_typetarget_catalogtarget_schematarget_namestatus_code描述- - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -默認的my_tbl外部主要默認的my_tbl成功主要默認的my_tbl同步- - - - - -同步一個運行模式評估可升級性蜂巢metastore>同步主要默認的my_tblhive_metastore默認的my_tbl運行;source_schemasource_namesource_typetarget_catalogtarget_schematarget_namestatus_code描述- - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -默認的my_tbl外部主要默認的my_tblDRY_RUN_SUCCESS- - - - - -同步所有符合條件的模式hive_metastoremydb一個團結目錄模式主要my_db_uc- - - - - -升級主要my_db_uc擁有通過阿爾夫@melmak>同步模式主要my_db_uchive_metastoremy_db老板阿爾夫@melmak;source_schemasource_namesource_typetarget_catalogtarget_schematarget_namestatus_code描述- - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -- - - - - -運行模式同步模式評估所有一個模式- - - - - -hive_metastoremydb升級團結目錄>同步模式主要my_db_uchive_metastoremy_db運行;source_schemasource_namesource_typetarget_catalogtarget_schematarget_namestatus_code描述- - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -