升級到11.3 lts塞多納函數扔空時曾在7.3

[Pazuzu7]

我在升級到11.3的過程。我用火花3.3.0,scala 2.12, maven和塞多納1.2.0孵化並遵循安裝塞多納概述在這裏。一切都進行的很順利到達塞多納在7.3版本,但目前扔功能和提供一個零例外函數的構造函數。

創建集群,我通過一個json配置中概述的init腳本位置和設計上麵的鏈接。然後我點maven標準坐標(據我所知它在磚應該檢查罐的位置,如果他們沒有下載從maven回購)。

我已經檢查了數據的函數,在幾何沒有null值。我曾經嚐試過不同版本,直接從dbfs加載jar,手動經曆數據為null或意想不到的價值。我試過一個以上的數據集將這個函數。都做同樣的事情。

我道歉,如果這沒有多大意義,我沒有很多經驗數據磚。

[Debayan]

嗨,這看起來像兼容性的問題,請檢查是否安裝依賴包也?

也,我看到一個在上麵的鏈接,你能確認是否這樣做是嗎?

注意:您需要安裝塞多納通過init腳本庫,因為通過UI庫安裝後安裝集群已經開始,因此配置指定的類

spark.sql.extensions

,

spark.serializer

,

spark.kryo.registrator

不可以在啟動時間。

[Pazuzu7]

是的,Sedina庫中描述通過init腳本安裝鏈接。款也設置在相同的json。我有檢查集群的創建和配置設置。

我們有很多類似的事情,進入磚以同樣的方式使用相同的庫需求和我看到我的一些同事沒有使用一個init腳本也沒有設置火花配置和運行沒有問題。

[匿名]

嗨@William Honeyman

謝謝你發布你的問題在我們的社區!我們很高興幫助你。

幫助我們為您提供最準確的信息,請您花一些時間來回顧反應和選擇一個最好的回答了你的問題嗎?

這也將有助於其他社區成員可能也有類似的問題在未來。謝謝你的參與,讓我們知道如果你需要任何進一步的援助!