取消
顯示的結果
而不是尋找
你的意思是:

從三角洲住表數據發布到Azure ADLS Gen2管道?

Alex006”id=
貢獻者

我想發布的數據從三角洲住表代存儲Azure ADLS (DLT)。檢查文檔,但不能讓它工作。任何見解如何呢?

無效的配置值fs.azure.account.key檢測”li-image-url=存儲位置”li-image-url=我試圖指定存儲位置”有很多的組合沛富:/ /(電子郵件保護)/dev/delta_live_tables /也abfss: / /(電子郵件保護)/dev/delta_live_tables /沒有任何成功。

隻有成功寫hive_metastore dbfs迄今為止。但是我想寫一個外部位置(ADLS Gen2)引用的表可以統一目錄。

8回答說8

Alex006”id=
貢獻者

好,試試這個。謝謝!

Alex006”id=
貢獻者

終於它工作,我們所做的:

前置條件:

  • 創建服務主體
  • 秘密在Azure KeyVault創建
  • 範圍&秘密中創建數據磚(url中添加“#秘密/ createScope”磚的頁麵,您創建的秘密)

注意:

  • 隻有一個DLT管道/外部存儲位置
  • 相關的鑰匙,ADLS訪問,有前綴“spark.hadoop。”
  • 你不會得到家族團結目錄使用DLT時,然而,你看到DLT的血統。

DLT管道設置- JSON(例子,代替自己的參數值)

{

“集群”:(

{

“標簽”:“默認”,

"自動定量":{

“min_workers”: 1、

“max_workers”: 5

“模式”:“強化”

}

},

{

“標簽”:“維護”

}

),

“發展”:沒錯,

“連續”:假的,

“頻道”:“預覽”,

“版”:“高級”,

“光子”:假的,

“庫”:(

{

“筆記本”:{

“路徑”:“/回購/ repo_folder / delta-live-tables-notebooks / sql /零售銷售”

}

}

),

“名稱”:“零售銷售SQL外部表”,

“存儲”:“abfss: / / <容器> @ < azure-storage-account >。dfs.core.windows.net/delta_live_tables/”,

"配置":{

“spark.hadoop.fs.azure.account.auth。類型”:“OAuth”,

“spark.hadoop.fs.azure.account.oauth.provider。類型”:“org.apache.hadoop.fs.azurebfs.oauth2.ClientCredsTokenProvider”,

spark.hadoop.fs.azure.account.oauth2.client.id”:“<應用程序id >”,

“spark.hadoop.fs.azure.account.oauth2.client。秘密”:“{{秘密/ < scope-name-in-databricks > / < secret-name-in-azure-keyvault >}}”,

“spark.hadoop.fs.azure.account.oauth2.client。端點”:“https://login.microsoftonline.com/< directory-id > / oauth2 /令牌”

}

}

統一目錄——注冊一個新的外部表

如果不存在客戶創建表beplay体育app下载地址

位置的abfss: / / <容器名稱> @ < -storage-account-name >。dfs.core.windows.net/-folder/tables/beplay体育app下载地址customers/

總結——如何讓DLT &統一目錄一起工作

這樣你可以得到δ生活表(DLT)與團結合作目錄指的是外部表。

evogelpohl”id=
新的貢獻者三世

謝謝你的寫。為我工作。的問題。在我的例子中,我讓DLT寫它的表一個abfss: / / data@……存儲路徑用你上麵的配置模式。它成功地寫表,但是當我查看表在數據瀏覽器hive_metastore fs。配置錯誤。如果我手動運行oauth常規連接到這個帳戶,它連接,但我仍然不能在數據瀏覽器查看數據。然而,我可以創建一個外部表團結得很好(因為它是使用統一存儲憑證)。

guostong”id=
新的貢獻者二世

我試圖從ADLS負載與DLT添加火花配置後,我得到了以下錯誤:

org.apache.spark.sql.streaming。StreamingQueryException (STREAM_FAILED):查詢(id = 4833 fc - 80 - d5 - 818323 - 9 - f46 7 d1afc9c5bf7 runId = 722 e9aac - 0 - fdd - 4206 - 9 - d49 - 683 bb151f0bf]終止與例外:容器文件中的事件”{“回填”:{“鬥”:“root@dbstoragelhdp7mflfxe2y”,“關鍵”:“5810201264315799 /數據/ Temp / test_account。csv”、“大小”:1801年,“eventTime”: 1682522202000,“newerThan默認2美元”:假}}”不同於預期的來源:my_container@my_storageaccount”。

sequestions嗎?

謝謝,

歡迎來到磚社區:讓學習、網絡和一起慶祝

加入我們的快速增長的數據專業人員和專家的80 k +社區成員,準備發現,幫助和合作而做出有意義的聯係。

點擊在這裏注冊今天,加入!

參與令人興奮的技術討論,加入一個組與你的同事和滿足我們的成員。

Baidu
map