你好每一個人,
我真的新磚,就通過我的apache開發人員認證。
我也有一個認證數據工程與Azure。
一些華麗的語言但我才開始做真正的深他們當我開始一個個人項目我很興奮。
我的問題有訪問賬戶存儲的幫助下通過磚身份管理。
意義:
1 /創建訪問連接器磚
2 /創建了一個metastore,聯係databrick訪問連接器,連接我的db工作區。
3 /創建憑證和外部的位置。
4 /我可以查詢的容器兩種不同的方法,但不是最後一個。
這麼長時間我試著兩種方式工作得很好
1 /
% sql創建表raw.table;複製到原始。表從“abfss: / /(電子郵件保護)/ ' FILEFORMAT = CSV COPY_OPTIONS (“mergeSchema”=“真正的”)
2 /工作完美
% python df = spark.read.schema(模式). csv (“abfss: / /(電子郵件保護)/”,標題= True,逃避=“”,引用=””,多行= True) # inferSchema = True
3 /是行不通的。
% sql drop table如果存在raw.table;創建外部表生。表使用CSV選項(路徑”abfss: / /(電子郵件保護)/”,標題“真實”,inferSchema '真的');
FileReadException:當abfss閱讀文件時發生錯誤:(電子郵件保護)/ file.csv。引起的:KeyProviderException:未能初始化配置存儲賬戶twitterdatalake.dfs.core.windows.net: fs.azure.account檢測到無效的配置值。主要由:fs.azure.account.key InvalidConfigurationValueException:檢測到無效的配置值
是的,我知道你會問我為什麼你需要這個特殊的方式嗎?
我不知道,我的字眼看見很多考試認證所以我猜這是一個最佳實踐?
furtermore,事實上我不工作是真的很煩人。
有人有一個想法為什麼不工作?
謝謝你!
有一個美好的一天
你應該試著用pyspark在你所有的位置來驗證
df =火花。sql (“select * from < catalog.schema.table >”) df.display ()
這樣做之後,你讓你管理表所需的外部位置路徑當然。
火花。sql(如果不存在“創建模式<模式名稱>管理位置<外部位置url路徑>”)火花。sql(如果不存在“create table < schema name >。<表名稱>管理位置<外部位置url路徑>”)
https://docs.m.eheci.com/sql/language-manual/sql-ref-syntax-ddl-create-schema.html