終於它工作,我們所做的:
前置條件:
注意:
DLT管道設置- JSON(例子,代替自己的參數值)
{
“集群”:(
{
“標簽”:“默認”,
"自動定量":{
“min_workers”: 1、
“max_workers”: 5
“模式”:“強化”
}
},
{
“標簽”:“維護”
}
),
“發展”:沒錯,
“連續”:假的,
“頻道”:“預覽”,
“版”:“高級”,
“光子”:假的,
“庫”:(
{
“筆記本”:{
“路徑”:“/回購/ repo_folder / delta-live-tables-notebooks / sql /零售銷售”
}
}
),
“名稱”:“零售銷售SQL外部表”,
“存儲”:“abfss: / / <容器> @ < azure-storage-account >。dfs.core.windows.net/delta_live_tables/”,
"配置":{
“spark.hadoop.fs.azure.account.auth。類型”:“OAuth”,
“spark.hadoop.fs.azure.account.oauth.provider。類型”:“org.apache.hadoop.fs.azurebfs.oauth2.ClientCredsTokenProvider”,
”spark.hadoop.fs.azure.account.oauth2.client.id”:“<應用程序id >”,
“spark.hadoop.fs.azure.account.oauth2.client。秘密”:“{{秘密/ < scope-name-in-databricks > / < secret-name-in-azure-keyvault >}}”,
“spark.hadoop.fs.azure.account.oauth2.client。端點”:“https://login.microsoftonline.com/< directory-id > / oauth2 /令牌”
}
}
統一目錄——注冊一個新的外部表
如果不存在客戶創建表beplay体育app下载地址
位置的abfss: / / <容器名稱> @ < -storage-account-name >。dfs.core.windows.net/-folder/tables/beplay体育app下载地址customers/”
總結——如何讓DLT &統一目錄一起工作
這樣你可以得到δ生活表(DLT)與團結合作目錄指的是外部表。
謝謝你的寫。為我工作。的問題。在我的例子中,我讓DLT寫它的表一個abfss: / / data@……存儲路徑用你上麵的配置模式。它成功地寫表,但是當我查看表在數據瀏覽器hive_metastore fs。配置錯誤。如果我手動運行oauth常規連接到這個帳戶,它連接,但我仍然不能在數據瀏覽器查看數據。然而,我可以創建一個外部表團結得很好(因為它是使用統一存儲憑證)。
我試圖從ADLS負載與DLT添加火花配置後,我得到了以下錯誤:
org.apache.spark.sql.streaming。StreamingQueryException (STREAM_FAILED):查詢(id = 4833 fc - 80 - d5 - 818323 - 9 - f46 7 d1afc9c5bf7 runId = 722 e9aac - 0 - fdd - 4206 - 9 - d49 - 683 bb151f0bf]終止與例外:容器文件中的事件”{“回填”:{“鬥”:“root@dbstoragelhdp7mflfxe2y”,“關鍵”:“5810201264315799 /數據/ Temp / test_account。csv”、“大小”:1801年,“eventTime”: 1682522202000,“newerThan默認2美元”:假}}”不同於預期的來源:my_container@my_storageaccount”。
sequestions嗎?
謝謝,