了解升級到統一編目的影響。

[190809年]

你好,我一直在努力鞏固我的理解的變化發生在我升級數據統一目錄。我們當前的攝入過程逐步加載新數據表的蜂巢metastore安裝一個s3 bucket。如果我這些表升級到加州大學,將每日增量數據也更新在加州大學或者是加州大學的數據隻是一個“時刻”複製我的蜂巢metatsore中的表。提前謝謝。

[匿名]

@Rachel坎寧安:

如果你升級你的現有表統一目錄,那麼任何新的數據增量加載到那些表也將反映在統一目錄。統一目錄之上提供了一個元數據層的數據,這意味著它維護數據的邏輯視圖和跟蹤變化,而不是一個單獨的數據的副本。

所以,當你升級你的表統一目錄,你基本上是遷移聯合目錄的元數據表。這意味著任何更改那些表,包括增量數據加載,將跟蹤統一目錄。統一目錄維護一個事務日誌,記錄所有目錄的元數據所做的更改。

因此,如果你升級後新數據加載到表統一目錄,這些變化將反映在統一的元數據目錄。然而,值得注意的是,任何更改底層表結構(例如,添加或刪除列)需要在蜂巢metastore,然後同步到統一目錄使用同步元數據的命令。

[Vidula_Khanna]

嗨@Rachel坎寧安

希望一切都好!隻是想檢查如果你能解決你的問題,你會很高興分享解決方案或答案標記為最佳?其他的請讓我們知道如果你需要更多的幫助。

我們很想聽到你的聲音。

謝謝!