取消
顯示的結果
而不是尋找
你的意思是:

困惑關於數據存儲:數據資產在磚和蜂巢Metastore vs三角洲湖vs Lakehouse vs DBFS和統一目錄vs Azure Blob

Oliver_Angelil
貢獻者三世

大家好

似乎有許多不同的方式來存儲和管理數據的磚。

這是數據資產在磚:

截圖在17.02.04 2023-05-09

然而數據也可以存儲(包括超鏈接到相關頁麵):

一個新用戶如何理解所有這些選項和知道如何進行?是什麼磚的數據資產(見截圖),它是如何與其他的選項我已經列出。尋找推薦的數據存儲和訪問的方法。

非常感謝你提前。

1接受解決方案

接受的解決方案

@Oliver馬克先生一件事之前,我們需要考慮選擇托管或外部金層的消費者,如果你有BI env大多數將外部基於需要的東西。我們也需要看到的表類型出現在姚當前現有的蜂巢metastore遺留

在原帖子查看解決方案

8回答說8

karthik_p
尊敬的貢獻者

@Oliver馬克先生通常在磚也存儲在數據管理/外部表。

管理表元數據和數據相關的元數據存儲在相同的位置這是hive_metastore (DBFS)根中存儲配置數據磚配置的一部分。

在外部表,表元數據存儲在hive_metastore和數據存儲在外部存儲(任何外部存儲s3 / azure blob, gc),你會安裝嗎

作為治理進入圖片統一目錄,DBFS由於安全原因不推薦。

您可以創建自己的metastore並鏈接到磚帳戶——>鏈接磚工作區- - >目錄- - >表數據和元數據

如果你已經在蜂巢metastore任何數據,您可以遷移到數據磚統一目錄(新創建自己的metastore)

加州大學有一些限製,如果你寧願和加州大學是最好的選擇去__ >磚建議管理表

由於@karthik p

因此,推薦的方法是統一目錄管理表嗎?

即不使用hive_metastore (DBFS) ?

karthik_p
尊敬的貢獻者

@Oliver馬克先生一旦啟用統一的目錄你可以使用新創建的目錄metastore統一,不需要DBFS hive_metastore遺留。還磚建議去與外部位置沒有坐騎坐騎不多了

由於@karthik p -外部位置是什麼意思?例如我看到我的名字在hive_metastore外部(它來自dbfs)。外部表和一個內部表是什麼?圖像

歡迎來到磚社區:讓學習、網絡和一起慶祝

加入我們的快速增長的數據專業人員和專家的80 k +社區成員,準備發現,幫助和合作而做出有意義的聯係。

點擊在這裏注冊今天,加入!

參與令人興奮的技術討論,加入一個組與你的同事和滿足我們的成員。

Baidu
map