統一目錄——偉大的還是有限的?

[Carsten_K]

嗨,夥計們,

我想知道你如何采用統一目錄。在我看來相當有限的,你隻能有一個加州大學/地區。我們構建一個數據倉庫,我們有三個工作區- dev,測試和刺激。我們認為我們可以使用的命名標準catalog.sourcesystem_name的地方。當例如舉辦我們的源數據表。當我閱讀文檔,我們需要添加後綴或前綴能夠區分哪些地方環境我們現在使用,因為所有數據在工作區是可見的。

我想要一些輸入你如何實現加州大學和為不同的目的使用不同的工作空間。

Br,

Carsten

[prasadvaze]

@Pat Sienkiewicz和@Carsten Klausman確實實現團結,我必須使用前綴,獨立的開發,測試,督促目錄1團結metastore因為我所有的工作都在1所以我隻能創建1 metastore azure區域。盡管這不是一個限製我們的團隊必須遵循這個新標準命名目錄。然後在刺激目錄,團隊有隻讀權限。最大的限製(和@Kaniz Fatma我提交了一個特性請求數據磚)到目前為止無法區分DML(插入/更新/刪除)和DDL許可模式或桌子上。授予修改意味著用戶可以修改表模式和表數據。DDL理想情況下修改應該限製許可和應該有3個單獨的權限(插入/更新/刪除)像在關係數據庫中,但我知道這不是容易實現這個鑲花的文件。我樂觀,很快磚將這個特性@Vivian威爾弗雷德

[Kaniz]

嗨@Carsten Klausman,我們一直沒有收到你最後的回應@Pat Sienkiewicz,我檢查,看看他的建議幫助你。

否則,如果你有任何解決方案,請與社區分享,因為它可以幫助別人。

同時,請別忘了點擊“選擇最佳”按鈕時提供的信息幫助解決你的問題。

[帕特]

嗨@Carsten Klausman,

你的旅程和統一目錄嗎?

最近我看到越來越多的限製。遺憾,我們有這種自由與火花——酸和優化工作。

我們被迫做統一目錄,和經驗豐富的數據工程師必須跟支持學習,有些東西是行不通的。

[Carsten_K]

嗨@Pat Sienkiewicz

它不是一個平穩。整個權限模型不是最優。我們不得不改變權限的SQL語句添加到我們的代碼。優化?——你是說管理表。我們不走這條路的限製隻使用一個存儲賬戶和我們想要獨立的環境。

[帕特]

嗨@Carsten Klausman,

一個存儲賬戶是一個殺手的我們的一些當前用例,但我們仍會與其他表統一編目和管理用例,期待工作空間分離特性(我認為它叫)。

優化——我的意思是所有額外的事情上我們有香草火花即δ緩存(現在稱為磁盤緩存),但是的管理表。

我看到一些限製,但是我認為這可能是很難維護這個平台開放的方式,所以我也看到,我需要適應這些變化,但有時並不明顯。Beplay体育安卓版本

很好的例子是,我決定將設置開發和推動統一目錄,能夠測試之前會促使env,例如新特性,初1 UC /地區是推薦的方式,但我仍然會有2中1,然後有一天我發現它不是可以創建2 UCs AWS地區1磚賬戶,然後你必須適應你的代碼和設計。