你圖案結構和存儲架構如何?

[William_Scardua]

嗨,夥計們,

你的建議關於如何創建一個medalion archeterure嗎?多少datalake區,存儲數據,數據庫用於存儲,如何anuthing嗎

我認為區域:

1。著陸區,文件存儲在數據庫/ landing_zone -磚。青銅存儲在/ bronze_container

2。轉換區,文件存儲在數據庫/ transformation_zone -磚。銀/ silver_container存儲

3所示。洞察力,文件存儲在數據庫/ insight_zone -磚。存儲在/ gold_container黃金

但是我有一個問題,從轉變區數據複製(/ transformed_zone和/ silver_container)

你認為,最佳實踐是什麼?

謝謝大家

[mmlime]

湖泊和蜂巢metastore(外部表)我做了同樣的方式。

• 登陸存儲容器基於源係統/供應商分開我的湖,使更好的授權模型將數據係統/供應商
• 青銅容器,如分期。dirs的三角洲體係表都不把數據從著陸。
• 銀。解析/潔淨三角洲格式的數據,仍在係統和他們的對象層次結構。
• 銀。增強的數據?= =我的核心數據模型- >實體(產品、客戶…)

但現在在我看來:

你已經在使用統一目錄嗎?這個問題仍然在嗎?你越來越有被迫使用管理表。你不關心你的湖/ lakehouse結構。它仍然是越來越多的數據像DWH的DDL表示。你創建結構Metastore * * *加州大學管理位置(它使用id表存儲在一個存儲不是人類可讀的路徑)。

現在的問題是如何組織你的Metastore(目錄、數據庫表)遵循這個獎章拱門。那麼如何構建你的湖容器/目錄. .在我看來。

[werners1]

同意,雖然我不喜歡它。

[jose_gonzalez]

嗨@William Scardua,

我強烈建議你使用三角洲住表(DLT)為你的用例。請檢查這裏的文檔與示例筆記本https://docs.m.eheci.com/workflows/delta-live-tables/index.html

[Kaniz]

嗨@William Scardua,我們一直沒有收到你自從上次反應@Jose岡薩雷斯,我檢查是否你有一個決議。

如果你有任何解決方案,請與社區分享,因為它可以幫助別人。否則,我們將與更多的細節和試圖幫助回應。

同時,請別忘了點擊“選擇最佳”按鈕時提供的信息幫助解決你的問題。