如何啟用spark.shuffle.compress火花3.3.0或以上版本嗎?

[Ankith]

當我試著設置後,我得到了一個錯誤,提前感謝你的評論,謝謝你。

[匿名 · Accepted solution]

@Ankith Patlolla:

你得到錯誤的原因”的值不能修改火花配置——spark.shuffle.compress”是因為你想修改一個火花配置屬性標記為最終和火花後不能改變應用程序已經開始。

在磚,建議設置火花配置屬性的方法是通過spark.conf.set()方法在筆記本或工作。然而,一些火花配置屬性,比如spark.shuffle.compress,火花開始後不能修改。如果你需要設置spark.shuffle.compress

在磚,你可以設置它的火花配置集群。如何做:

1. 去你的磚工作區。
2. 單擊“集群”選項卡。
3. 選擇你想設置的集群spark.shuffle.compress財產。
4. 點擊“編輯”按鈕。
5. 向下滾動到“火花”部分,擴大它。
6. 點擊“高級選項”選項卡。
7. 在“火花配置”字段,添加以下行:spark.shuffle.compress真的
8. 點擊“保存”按鈕。

這將設置spark.shuffle.compress屬性選擇的集群。

[Vidula_Khanna]

嗨@Ankith Patlolla

謝謝你發布你的問題在我們的社區!我們很高興幫助你。

幫助我們為您提供最準確的信息,請您花一些時間來回顧反應和選擇一個最好的回答了你的問題嗎?

這也將有助於其他社區成員可能也有類似的問題在未來。謝謝你的參與,讓我們知道如果你需要任何進一步的援助!