如何升級內部蜂巢元數據存儲的版本嗎

[AlexDavies]

有可能升級的蜂巢metastore版本嗎?

運行spark.conf.get (“spark.sql.hive.metastore.version”)表明它正在運行0.13.0

然而https://docs.microsoft.com/en-us/azure/databricks/release-notes/runtime/7.x-migration apache-hive似乎表明,升級到2.3的版本

我試圖添加以下引發配置

spark.sql.hive.metastore。2.3.7版本spark.sql.hive.metastore。瓶內裝式

但是它導致錯誤的異常堆棧似乎表明其試圖連接到一個外部metastore。我建立一個外部metastore不感興趣

蜂巢metastore版本應該和什麼有什麼我需要做升級嗎?

[prasadvaze]

隻有我發現解決這個的方法是使用外部metastore所以我使用sql azure db蜂巢metastore托管。它創造dbo。metastore版本表一行顯示。更新這一行與spark.sql.hive.metastore匹配值。版本價值

[jeffreym9]

我有同樣的問題。我的問題是,這是一個必須使用2.3.7嗎?或者還可以使用0.13.0 Spark3嗎?

[Kaniz]

嗨@Jeffrey Mak,這個鏈接可能會幫助你。https://docs.microsoft.com/en-us/azure/databricks/kb/metastore/hive-metastore-troubleshooting

[jeffreym9]

不幫助。建議旁路的版本驗證隻延遲問題。當我試圖創建新表,它抱怨一些列找到失蹤在蜂房裏metastore (0.13)。