DBFS坐騎不再推薦嗎?

[kmehkeri]

檢查文檔我注意到這句話Azure存儲訪問頁麵:

[https://learn.microsoft.com/en-us/azure/databricks/external-data/azure-storage]

棄用從Azure磚模式來存儲和訪問數據

以下是棄用存儲模式:

• 磚不再建議安裝外部數據位置數據磚的文件係統。看到安裝雲對象存儲Azure磚。

到目前為止我ADLS v2坐騎(如使用。dbfs: / mnt / datalake)作為我的位置數據庫/模式:

創建模式foo位置“/ mnt / datalake / foo”;

聽起來這是不再推薦,是嗎?和剩餘的方法在頁麵上描述特別連接,除了統一目錄外部位置,但即使是提到作為一個主要的方法來創建外部表:

統一目錄管理訪問數據在Azure湖代使用存儲的數據外部位置。管理員主要使用外部位置配置統一目錄外部表,但也可以委托使用可用的權限訪問用戶或組(讀文件、寫文件,創建表)。

管理表然後呢?指導嗎?

最後但並非最不重要,為什麼實際上是坐騎不推薦呢?

[karthik_p · Accepted solution]

@X X DBFS山上麵的建議是為統一目錄啟用工作區,當你啟用統一目錄將根據外部位置和訪問外部數據存儲憑證。

而通常沒有加州大學就我所知外部dbfs坐騎隻是訪問外部數據的方法。

[Jfoxyyc]

你不需要dbfs山。越來越多的安全問題是,一旦你安裝使用憑證,每個人都有工作現在已經在安裝位置對數據的訪問。

推薦的方式,不安裝dbfs是使用會話作用域連接使用提供者秘密範圍(azure關鍵庫,aws參數存儲等)和訪問控製列表。這種方式,你有一個服務主體/我角色訪問存儲位置,和你控製誰有權訪問該服務主體的秘密。我把我所有的磚構件在回購以下文件夾設置:

磚>筆記本>類別>的工件

磚> > category.py功能

如果你是使用azure,你可以有一個函數稱為set_session_scope databricks.functions。azure,然後你可以導入函數並傳遞它從databricks.functions必需的參數使用。azure set_session_scope進口。

[kmehkeri]

>隻要你安裝使用憑證,每個人都有工作現在已經在安裝位置對數據的訪問

這是真的,即使隻使用集群表級別啟用訪問控製(應防止用戶直接訪問掛載存儲通過DButils) ?

老實說我不知道如何安裝存儲前期不同於使用特別的連接細節從安全角度來看,這兩種方法需要服務主體的憑證或SAS,除非使用統一目錄外部位置karthik_p暗示。

[Jfoxyyc]

如果你有合適的政策在地方人們無法創建集群,集群與表啟用訪問控製可用然後是的,你本質上是由掛載點隻適用於那些可以使用它們訪問集群,或管理員。這將是類似於禁用坐騎,隻有通過會話作用域憑據訪問外部數據表示和管理訪問憑證通過訪問控製列表。

這兩種方法的差異歸結為我們可用來管理訪問的對象。訪問控製列表,或管理員角色+表訪問控製集群。

越來越多的天性使得每個人都訪問任何集群,可以看到掛載點。的方法,正如你所說,隻有表啟用訪問控製和離開隻有管理員能夠訪問文件級數據。但是你需要促進主要管理員能夠訪問文件數據,這可能是不必要的。

不安裝,隻有通過會話作用域憑據訪問文件數據允許您使用任何集群類型。然後您可以創建一個秘密範圍與訪問控製列表和指定哪些用戶/組訪問範圍,控製誰有權訪問文件數據最少特權的方式。

雲提供商指出:

• Azure磚工作區中的所有用戶能夠訪問安裝ADLS Gen2帳戶。您所使用的服務主體訪問ADLS Gen2賬戶應該隻被授予訪問ADLS Gen2賬戶;它不應該被授予訪問其他Azure資源。
• 當您創建一個掛載點通過一個集群,集群用戶可以立即訪問掛載點。使用掛載點運行在另一個集群,您必須運行dbutils.fs.refreshMounts(),運行集群使用新創建的掛載點。
• 卸載掛載點工作是運行時可能會導致錯誤。確保生產工作不會卸載存儲的一部分處理。
• 使用秘密是不會自動刷新的掛載點。如果安裝存儲依賴一個秘密旋轉,期滿,或被刪除,會發生錯誤,比如
• 401未授權。解決這樣一個錯誤,你必須卸載並重新安裝存儲。