有一些使用筆記本電腦時出現的常見問題。本節概述了一些常見問題和最佳實踐,您應該遵循。

火花的工作與java.lang.NoClassDefFoundError失敗

有時候你可能會遇到一個錯誤:

% scala . lang。NoClassDefFoundError:無法初始化類線.....讀美元

這可能發生火花Scala 2.11集群,Scala的筆記本,如果你混合類定義和數據集/ DataFrame操作在同一筆記本電池,以及後來在火花中使用case類工作在不同的細胞。例如,在第一個單元格,說你定義一個類MyClass還創建了一個數據集。

% scala case類MyClass(價值:Int) val數據集= spark.createDataset (Seq (1))

然後在後麵的細胞,你創建的實例MyClass在一個火花工作。

% scala的數據集。地圖我= > {MyClass (i)} .count ()

解決方案

類定義中轉移到自己的細胞。

% scala case類MyClass(價值:Int) / /沒有其他代碼在這個細胞

% = spark.createDataset scala val數據集(Seq(1))的數據集。地圖我= > {MyClass (i)} .count ()

火花的工作與java.lang.UnsupportedOperationException失敗

有時候你可能會遇到一個錯誤:

. lang。UnsupportedOperationException:方式蓄電池必須注冊之前發送給執行器

這可能發生火花Scala 2.10集群,Scala筆記本。這個錯誤的原因和解決方案與之前相同火花的工作與java.lang.NoClassDefFoundError失敗。