連接到蜂巢metastore以及膠水在sametime目錄

[鋼筋混凝土]

你好,

有什麼方法我們可以連接膠目錄以及蜂巢metastore在同一倉庫嗎?

我可以創建一個實例配置文件,並提供所有必需的桶或膠水目錄的訪問。

我試著使用以下配置,

spark.sql.hive.metastore。版本3.1.0
spark.sql.hive.metastore。罐子maven
spark.hadoop.hive.metastore。uri節儉:/ / <蜂窩IP >: 9083
spark.databricks.hive.metastore.glueCatalog。使真正的

這是撿膠水目錄。

任何建議都高度讚賞

BR,

Rajath

[Kaniz]

嗨@RC,根據所提供的信息,你不能動態地切換膠目錄和一個蜂巢metastore在同一倉庫。

按照限製AWS膠水metastore文檔中所提到的,您必須重新啟動集群為新火花配置生效。

這是有關摘錄資料來源:

- - - - - -”你不能動態地膠目錄和一個蜂巢metastore之間切換。您必須重新啟動集群的新火花配置生效。”

所以,如果你想連接到膠目錄和蜂巢metastore,您必須重新啟動您的集群每當你想兩者之間切換。

來源:
(文檔:aws-glue-metastore) (https://docs.m.eheci.com/archive/external-metastores/aws-glue-metastore.html)