取消
顯示的結果
而不是尋找
你的意思是:

外部表自動接收外部更新嗎?

dvmentalmadess
貢獻者

基於創建外部表的指示(見:https://docs.m.eheci.com/data-governance/unity-catalog/create-tables.html創建一個表)我曾以為,外部表是增加現有的對象存儲統一目錄,一旦定義他們的工作就像管理表。文檔似乎沒有具體描述外部表有不同的行為。但是今天我讀這兩個引用:

  • “隻有準確的目錄中的文件讀取;讀不是遞歸”
  • “當你使用這種方法創建一個表,存儲路徑是隻讀一次,以防止重複記錄…”

看到的:https://docs.m.eheci.com/data-governance/unity-catalog/create-tables.html create-a-table-from-the……

1接受解決方案

接受的解決方案

匿名
不適用

@Mark米勒:

外部表在磚不自動接收外部更新。當你創建一個外部表數據磚,你基本上是現有的對象存儲的元數據統一登記目錄,它允許您使用SQL查詢數據。

當你查詢外部表,磚從外部存儲器讀取數據表定義中指定的位置。然而,磚並不監控外部存儲位置的更新或修改數據。如果你將新文件添加到外部存儲位置或修改現有的文件,您需要手動更新外部表元數據統一目錄使用

MSCK修理表命令來添加新分區或文件。

你提到的文件是正確的,當你用描述的方法創建外部表,存儲路徑隻讀取一次,防止重複記錄。這意味著,如果您將新文件添加到外部存儲位置創建外部表後,這些文件將不會被包括在表,直到您更新元數據使用

MSCK修理表。

總之,外部表在磚不自動接收外部更新。您需要手動更新元數據使用MSCK修理表命令來添加新分區表或文件。

在原帖子查看解決方案

1回複1

匿名
不適用

@Mark米勒:

外部表在磚不自動接收外部更新。當你創建一個外部表數據磚,你基本上是現有的對象存儲的元數據統一登記目錄,它允許您使用SQL查詢數據。

當你查詢外部表,磚從外部存儲器讀取數據表定義中指定的位置。然而,磚並不監控外部存儲位置的更新或修改數據。如果你將新文件添加到外部存儲位置或修改現有的文件,您需要手動更新外部表元數據統一目錄使用

MSCK修理表命令來添加新分區或文件。

你提到的文件是正確的,當你用描述的方法創建外部表,存儲路徑隻讀取一次,防止重複記錄。這意味著,如果您將新文件添加到外部存儲位置創建外部表後,這些文件將不會被包括在表,直到您更新元數據使用

MSCK修理表。

總之,外部表在磚不自動接收外部更新。您需要手動更新元數據使用MSCK修理表命令來添加新分區表或文件。

歡迎來到磚社區:讓學習、網絡和一起慶祝

加入我們的快速增長的數據專業人員和專家的80 k +社區成員,準備發現,幫助和合作而做出有意義的聯係。

點擊在這裏注冊今天,加入!

參與令人興奮的技術討論,加入一個組與你的同事和滿足我們的成員。

Baidu
map