磚的問題:-斷言失敗:無效的洗牌分區規格:

[KumarShiv]

我高壓複雜腳本消費超過100 gb的數據,有聚合,最後我隻是嚐試簡單的寫/顯示數據從數據幀。然後我的問題(斷言失敗:規格:無效的洗牌分區)。

請幫我在這裏,如果任何一個有主意。

[Hubert_Dudek1]

很難幫助在這種情況下沒有看到整個代碼。

[KumarShiv]

添加”。py”文件在附件,請看看。

[Hubert_Dudek1]

請使用

顯示器(df_FinalAction)

火花是懶惰的評估但“顯示”,所以你可以調試通過顯示每個月底dataframe每個細胞。

[KumarShiv · Accepted solution]

由於杜德克,終於我發現有問題的查詢。你建議我一步一步調試和運行每一個每一個細胞。並添加(spark.conf.set (“spark.sql.shuffle.partitions”, 100年))細胞。它解決了