外部表自動接收外部更新嗎?

[dvmentalmadess]

基於創建外部表的指示(見:https://docs.m.eheci.com/data-governance/unity-catalog/create-tables.html創建一個表)我曾以為,外部表是增加現有的對象存儲統一目錄,一旦定義他們的工作就像管理表。文檔似乎沒有具體描述外部表有不同的行為。但是今天我讀這兩個引用:

• “隻有準確的目錄中的文件讀取;讀不是遞歸”
• “當你使用這種方法創建一個表,存儲路徑是隻讀一次,以防止重複記錄…”

看到的:https://docs.m.eheci.com/data-governance/unity-catalog/create-tables.html create-a-table-from-the……

[匿名 · Accepted solution]

@Mark米勒:

外部表在磚不自動接收外部更新。當你創建一個外部表數據磚,你基本上是現有的對象存儲的元數據統一登記目錄,它允許您使用SQL查詢數據。

當你查詢外部表,磚從外部存儲器讀取數據表定義中指定的位置。然而,磚並不監控外部存儲位置的更新或修改數據。如果你將新文件添加到外部存儲位置或修改現有的文件,您需要手動更新外部表元數據統一目錄使用

MSCK修理表命令來添加新分區或文件。

你提到的文件是正確的,當你用描述的方法創建外部表,存儲路徑隻讀取一次,防止重複記錄。這意味著,如果您將新文件添加到外部存儲位置創建外部表後,這些文件將不會被包括在表,直到您更新元數據使用

MSCK修理表。

總之,外部表在磚不自動接收外部更新。您需要手動更新元數據使用MSCK修理表命令來添加新分區表或文件。