如何隔離dev /臨時/刺激和聯合編目數據和資源嗎

[AlexDavies]

我們計劃遷移到統一目錄,但無法確定如何隔離dev,登台和生產數據

我們的計劃是單獨的目錄由SLDC環境範圍(根據描述和圖表https://docs.m.eheci.com/data-governance/unity-catalog/best-practices.html)

我們將有一個為每個environemnt目錄。我們也會有一個工作空間的dev /分期/刺激會做的批量處理。每個工作區及其相關資源(vm、聯接、存儲等)將在單獨的azure訂閱,幹淨地分離dev,分期和促使資源

我們有一個政策,數據不應該交叉dev /分期/推動邊界。如刺激數據不能存儲或處理分期或開發資源。這是一個合理的政策旨在減少敏感刺激數據最後的機會,不應該,防止數據不準確的分期/ dev意外影響生產

然而統一目錄似乎讓所有dev /分期/刺激數據訪問所有的工作區。我們可以通過用戶權限限製,但也有出現,用戶可能訪問多個目錄。我們真正需要做的是限製由工作區目錄,但這似乎並沒有一個選項。或者如果我們可以有多個metastores地區我們可以隔離,但這似乎也阻止了

有沒有設置或特性我們可以用隔離數據dev,分期和刺激,這樣的數據在另一個環境不能處理資源?

[匿名]

@Alex戴維斯:

統一目錄目前不支持分離數據工作區或Azure訂閱。正如你指出的那樣,數據從一個區域內的所有目錄可以訪問任何地區的工作空間內,並由用戶適當的權限來限製訪問。

一個潛在的解決方案為您的用例是使用單獨的磚賬戶(單獨的地區)為每個環境(開發、過渡刺激)。每個磚賬戶將有自己的統一的目錄和相關的工作空間,和數據將隔離賬戶。這將允許你執行的政策不允許數據跨環境邊界,但也需要管理單獨的磚賬戶為每個環境和相關資源。

另一種選擇是使用單獨的虛擬網絡為每個環境(聯接),並配置VNet凝視VNet之間適當的允許必要的溝通環境。這將允許您進一步限製網絡流量之間的環境,但是需要額外的配置和管理聯接和對等的關係。

最終,最好的解決方案將取決於您的組織的特定需求和約束。它可能是值得討論與磚的解決方案架構師確定最好的方法為你的用例。