不能使用碼頭工人容器運行時13.1及以上

[DaanRademaker]

你好,

在我們的設置中使用自定義集群碼頭工人的圖片在我們的工作。這些圖片的設置符合碼頭工人圖像上發現磚github的頁麵。在運行時自定義圖片沒問題,包括13.0。當使用任何更高的13.0我得到以下錯誤例如spark.catalog.listTables運行時()

' ' '

. lang。NoClassDefFoundError: org/apache/hadoop/hive/ql/metadata/HiveException

' ' '

很奇怪,幾乎看起來是錯誤的磚注入魔力運行時的碼頭工人形象和java類路徑不正確設置。我從運行時看著changelog 13.0到13.1,但我找不到為什麼突然間不應該工作嗎?有誰能夠使碼頭工人圖片上麵運行時工作13.0 ?

同樣的發生在一個交互式的集群以及集群工作。

[DaanRademaker · Accepted solution]

同時,這個問題可以聯係以下github問題磚集裝箱圖片github頁麵。
https://github.com/databricks/containers/issues/116

[DaanRademaker]

有趣的是我可以使用相同的圖像13.3 ltsβ運行時沒有問題。

[DaanRademaker]

有趣的是我可以使用相同的碼頭工人形象13.3 lts測試沒有問題。