無法打開外部表下創建hive_metastore在azure(數據視圖)。

[karthik_p]

我們在Azure使統一目錄,我們有一個要求在hive_metastore創建外部表。我們已經配置了ADLS Gen2,通過使用不同的訪問方法,ADLS Gen 2支持我們創造了外部表。我們可以查看數據通過筆記本運行select查詢,但當我們試圖查看表在hive_metastore目錄數據,能夠看到表名,但是當我們選擇那張桌子,我們。

ADLS Gen2訪問配置

service_credential = dbutils.secrets.get(範圍= " < >範圍”,關鍵= < service-credential-key >)

spark.conf.set (“fs.azure.account.auth.type。< storage-account > .dfs.core.windows.net”、“OAuth”)

spark.conf.set (“fs.azure.account.oauth.provider.type。< storage-account > .dfs.core.windows.net”、“org.apache.hadoop.fs.azurebfs.oauth2.ClientCredsTokenProvider”)

spark.conf.set (“fs.azure.account.oauth2.client.id。< storage-account > .dfs.core.windows.net”、“<應用程序id >”)

spark.conf.set (“fs.azure.account.oauth2.client.secret。< storage-account > .dfs.core.windows.net”, service_credential)

spark.conf.set (“fs.azure.account.oauth2.client.endpoint。< storage-account > .dfs.core.windows.net”、“https://login.microsoftonline.com/ < directory-id > / oauth2 /令牌”)

“失敗初始化配置”

我們已經配置了數據訪問配置設置和添加服務憑證,我們也試圖添加“spark.hadoop.fs.azure.account.key.hiveexternalstore.blob.core.windows.net <鍵>”但我們仍無法查看表

[Hubert_Dudek1]

嗨,統一目錄和蜂巢metastore是兩碼事。如果集群,統一目錄啟用(特別是共享一個)它不支持上述配置。也許最好的會注冊安全憑據和外部位置統一目錄,然後注冊外部表。

[karthik_p]

@Hubert杜德克丫你是對的,當我們使用外部位置,使加州大學和創建外部表我們可以視圖使用選擇stameent從筆記本(我們需要運行訪問關鍵代碼),但當我們訪問密鑰添加到集群或sql數據倉庫和登錄- > hive_metastore,我們能夠看到表,但當我們點擊表我們的問題。

請查收下麵的查詢

創建外部表test.hiveextmount

使用δ

“abfss: / /位置(電子郵件保護)/表”

SELECT * from CSV. abfss: / /(電子郵件保護)/表”;

根據數據磚如果我們也使加州大學如果我們不指定目錄,我們應該能夠創建外部/管理表hive_metastore metastore違約。我們可以把舊表,我們使用山當我們創建wasbs類型。後改變wasbs abfss和使用上麵查詢,當我們創建表然後我們開始看到問題。

如果我們新目錄下創建表3級名稱空間,工作好。但作為一個備份hive_metastore赤也,如加州大學有很多的局限性

[匿名]

@karthik p統一目錄DBR 11.2和更高版本中支持。如果您嚐試創建蜂巢外部表對這些DBR版本默認存儲憑證將用於身份驗證存儲賬戶。您可以創建存儲憑證和外部位置然後創建外部表加蓋三個級別名稱空間符號“hive_metastore”。“模式”,“表”。如果你想使用火花配置存儲訪問配置,然後利用DBR 11.1或更低版本的用例。