取消
顯示的結果
而不是尋找
你的意思是:

Azure創2 -磚帳戶存儲

db_noob
新的貢獻者二世

你好每一個人,

我真的新磚,就通過我的apache開發人員認證。

我也有一個認證數據工程與Azure。

一些華麗的語言但我才開始做真正的深他們當我開始一個個人項目我很興奮。

我的問題有訪問賬戶存儲的幫助下通過磚身份管理。

意義:

1 /創建訪問連接器磚

  • 創建它的身份,並委托角色賬戶存儲容器+貢獻者。

2 /創建了一個metastore,聯係databrick訪問連接器,連接我的db工作區。

3 /創建憑證和外部的位置。

4 /我可以查詢的容器兩種不同的方法,但不是最後一個。

這麼長時間我試著兩種方式工作得很好

1 /

% sql創建表raw.table;複製到原始。表從“abfss: / /(電子郵件保護)/ ' FILEFORMAT = CSV COPY_OPTIONS (“mergeSchema”=“真正的”)

2 /工作完美

% python df = spark.read.schema(模式). csv (“abfss: / /(電子郵件保護)/”,標題= True,逃避=“”,引用=””,多行= True) # inferSchema = True

3 /是行不通的。

% sql drop table如果存在raw.table;創建外部表生。表使用CSV選項(路徑”abfss: / /(電子郵件保護)/”,標題“真實”,inferSchema '真的');
FileReadException:當abfss閱讀文件時發生錯誤:(電子郵件保護)/ file.csv。引起的:KeyProviderException:未能初始化配置存儲賬戶twitterdatalake.dfs.core.windows.net: fs.azure.account檢測到無效的配置值。主要由:fs.azure.account.key InvalidConfigurationValueException:檢測到無效的配置值

是的,我知道你會問我為什麼你需要這個特殊的方式嗎?

我不知道,我的字眼看見很多考試認證所以我猜這是一個最佳實踐?

furtermore,事實上我不工作是真的很煩人。

有人有一個想法為什麼不工作?

謝謝你!

有一個美好的一天

5回複5

Debayan
尊敬的貢獻者三世
尊敬的貢獻者三世

你好,

如果我們的錯誤,

無效的配置值fs.azure.account.key檢測

存儲帳戶訪問訪問數據使用的關鍵abfss不能使用協議。請參考這個https://learn.microsoft.com/en-us/azure/databricks/storage/azure-storage access-adls-gen2-directly
在上麵的文檔提到的參數。
請標記@Debayan與你的下一個評論會通知我。謝謝!

歡迎來到磚社區:讓學習、網絡和一起慶祝

加入我們的快速增長的數據專業人員和專家的80 k +社區成員,準備發現,幫助和合作而做出有意義的聯係。

點擊在這裏注冊今天,加入!

參與令人興奮的技術討論,加入一個組與你的同事和滿足我們的成員。

Baidu
map