不能使用碼頭工人容器運行時13.1及以上

[DaanRademaker]

你好,

在我們的設置中使用自定義集群碼頭工人的圖片在我們的工作。這些圖片的設置符合碼頭工人圖像上發現磚github的頁麵。在運行時自定義圖片沒問題,包括13.0。當使用任何更高的13.0我得到以下錯誤例如spark.catalog.listTables運行時()

' ' '

. lang。NoClassDefFoundError: org/apache/hadoop/hive/ql/metadata/HiveException

' ' '

很奇怪,幾乎看起來是錯誤的磚注入魔力運行時的碼頭工人形象和java類路徑不正確設置。我從運行時看著changelog 13.0到13.1,但我找不到為什麼突然間不應該工作嗎?有誰能夠使碼頭工人圖片上麵運行時工作13.0 ?

同樣的發生在一個交互式的集群以及集群工作。

[Debayan]

嗨,任何特定的錯誤已經浮出水麵嗎?

同時,我們需要檢查,磚運行時對機器學習不支持磚容器服務。

請標記@Debayan與你的下一個評論會通知我。謝謝!

[DaanRademaker]

嗨@Debayan!謝謝你的回複。

如果我把碼頭工人形象交互式集群和運行spark.catalog.listTables (“dbname”)
我得到以下錯誤:
' ' '

. lang。NoClassDefFoundError: org/apache/hadoop/hive/metastore/api/AlreadyExistsException

' ' '

如果我運行相同的命令,但附加的碼頭工人形象集群工作得到上述錯誤

' ' '

. lang。NoClassDefFoundError: org/apache/hadoop/hive/ql/metadata/HiveException

' ' '

兩個命令運行很好如果我把碼頭工人形象13.0集群,但是13.1和13.2集群不工作。

' ' '

[Kaniz]

. lang的錯誤消息”。NoClassDefFoundError: org/apache/hadoop/hive/metastore/api/AlreadyExistsException”表明Hadoop蜂巢Metastore API的問題。

. lang的錯誤消息”。蜂巢NoClassDefFoundError: org/apache/hadoop/hive/ql/metadata/HiveException”表明問題的元數據。

為了解決這個問題,檢查所使用的火花和Hadoop版本的兼容性是推薦。的版本13.1和13.2中使用Hadoop集群可能不兼容所使用的碼頭工人的形象。你可以試著在Hadoop集群中的版本升級或降級的碼頭工人形象的版本兼容Hadoop集群。

此外,您可以檢查任何最近修改的代碼或環境可能導致此錯誤。

[DaanRademaker]

謝謝你的回答。然而,在我的印象中,當使用碼頭工人圖像在磚,磚實際注入的火花和hadoop包成圖像。這就是它似乎總是工作。碼頭工人的圖片隻是基礎ubuntu包,什麼都沒有。所以在這種情況下必須有錯當這些hadoop和火花包被注入。