是否可以查詢數據磚統一目錄/膠從轉眼間目錄三角洲表嗎?

[ashish577]

你好,

我想設置轉眼間在aws emr能讀懂三角洲表。為此,根據我的理解,我需要設置三角洲。屬性文件。有人知道我怎麼找到hive.metastore。uri需要這個文件嗎?統一目錄或膠水目錄用於磚嗎?我已經使用膠作為轉眼間目錄,但無法查詢三角洲表因為它拋出錯誤——“不是蜂巢表”

[匿名]

找到hive.metastore。uri所需的三角洲。屬性文件,you can follow the below steps:

1. 登錄到你的AWS膠控製台
2. 單擊“爬蟲”選項卡並選擇您使用的膠履帶δ表
3. 在“履帶細節”部分,向下滾動到“數據存儲”,找到“JDBC URL”字段
4. “JDBC URL”字段的值拷貝粘貼到hive.metastore。在你的三角洲uri字段。屬性文件

或者,你也可以找到hive.metastore。uri磚通過以下步驟:

1. 打開一個磚筆記本
2. 運行該命令spark.conf.get (“spark.sql.catalogImplementation”)來檢查該目錄實現使用。它應該返回“蜂巢”或“內存”
3. 如果編目實現“蜂巢”,運行該命令spark.conf.get hive.metastore.uri (“hive.metastore.uris”)
4. 如果編目實現“內存”,運行該命令spark.conf.get hive.metastore (“spark.sql.warehouse.dir”)。uri將格式dbc: derby:;數據庫名= < path-to-warehouse-directory > / metastore_db;創建= true

一旦你有了hive.metastore。在三角洲地區的uri,您可以使用它。屬性文件to query Delta tables using Presto.

希望這可以幫助!

[ashish577]

嗨Suteja,

謝謝你的回答,我試著運行命令和建議得到“蜂巢”但是當試圖讓“hive.metastore目錄實現。uri”——我得到錯誤請注意,我使用膠作為metastore磚。也有辦法uri可用於統一目錄嗎?我試過倉庫的jdbc url https://和磚:/ /但這似乎並不奏效。

同時,我似乎無法找到“數據存儲”膠目錄,在膠履帶的設置所有我看到的是數據源,s3 bucket包含路徑三角洲表。請讓我知道如果我需要看別的東西。

謝謝

[匿名]

@Ashish辛格:

java.util錯誤”。NoSuchElementException”通常意味著你試圖訪問的元素沒有找到。在這種情況下,它似乎hive.metastore配置選項”。uri”沒有設置或不出現在你的蜂巢配置。

如果您正在使用膠水的metastore磚,你可以得到的URI metastore通過以下步驟:

1. 去AWS膠控製台
2. 點擊您正在使用的膠水目錄磚
3. 在左側欄中點擊“數據庫”
4. 點擊數據庫包含三角洲表的名稱你想查詢
5. 在左邊欄點擊“表”
6. 單擊三角洲表的名稱你想查詢
7. 表中的詳細信息頁麵,您將看到“存儲描述符”部分
8. 在“位置”字段,您將看到三角洲S3路徑表
9. S3協議替換為“膠”,刪除後從S3路徑“/”膠數據目錄的URI。

例如,如果您的S3路徑是“S3: / /桶/桌子/”,膠水數據目錄的URI將“膠:/ /我的/我桌子”。

關於統一目錄,您可以找到統一的JDBC URL目錄通過以下步驟:

1. 去磚工作區
2. 點擊左邊欄的“集群”選項卡
3. 點擊集群,您希望使用的名稱,轉眼間
4. 在“JDBC / ODBC”選項卡,您將看到集群的JDBC URL
5. 取代“/違約”URL的一部分與聯合目錄數據庫的名稱包含三角洲表你想查詢。

例如,如果您的JDBC URL是" JDBC:磚:/ / < databricks-instance > /違約;運輸方式= http; httpPath = sql / protocolv1 / o / 0 / < databricks-cluster-id >”,和你聯合目錄數據庫叫做“my_db”,修改後的JDBC URL將" JDBC:磚:/ / < databricks-instance > / my_db;運輸方式= http; httpPath = sql / protocolv1 / o / 0 / < databricks-cluster-id >”。