取消
顯示的結果
而不是尋找
你的意思是:

如何啟用spark.shuffle.compress火花3.3.0或以上版本嗎?

Ankith
新的因素

當我試著設置後,我得到了一個錯誤,提前感謝你的評論,謝謝你。

image.png

1接受解決方案

接受的解決方案

匿名
不適用

@Ankith Patlolla:

你得到錯誤的原因”的值不能修改火花配置——spark.shuffle.compress”是因為你想修改一個火花配置屬性標記為最終和火花後不能改變應用程序已經開始。

在磚,建議設置火花配置屬性的方法是通過spark.conf.set()方法在筆記本或工作。然而,一些火花配置屬性,比如spark.shuffle.compress,火花開始後不能修改。如果你需要設置spark.shuffle.compress

在磚,你可以設置它的火花配置集群。如何做:

  1. 去你的磚工作區。
  2. 單擊“集群”選項卡。
  3. 選擇你想設置的集群spark.shuffle.compress財產。
  4. 點擊“編輯”按鈕。
  5. 向下滾動到“火花”部分,擴大它。
  6. 點擊“高級選項”選項卡。
  7. 在“火花配置”字段,添加以下行:spark.shuffle.compress真的
  8. 點擊“保存”按鈕。

這將設置spark.shuffle.compress屬性選擇的集群。

在原帖子查看解決方案

2回答2

匿名
不適用

@Ankith Patlolla:

你得到錯誤的原因”的值不能修改火花配置——spark.shuffle.compress”是因為你想修改一個火花配置屬性標記為最終和火花後不能改變應用程序已經開始。

在磚,建議設置火花配置屬性的方法是通過spark.conf.set()方法在筆記本或工作。然而,一些火花配置屬性,比如spark.shuffle.compress,火花開始後不能修改。如果你需要設置spark.shuffle.compress

在磚,你可以設置它的火花配置集群。如何做:

  1. 去你的磚工作區。
  2. 單擊“集群”選項卡。
  3. 選擇你想設置的集群spark.shuffle.compress財產。
  4. 點擊“編輯”按鈕。
  5. 向下滾動到“火花”部分,擴大它。
  6. 點擊“高級選項”選項卡。
  7. 在“火花配置”字段,添加以下行:spark.shuffle.compress真的
  8. 點擊“保存”按鈕。

這將設置spark.shuffle.compress屬性選擇的集群。

Vidula_Khanna
主持人
主持人

嗨@Ankith Patlolla

謝謝你發布你的問題在我們的社區!我們很高興幫助你。

幫助我們為您提供最準確的信息,請您花一些時間來回顧反應和選擇一個最好的回答了你的問題嗎?

這也將有助於其他社區成員可能也有類似的問題在未來。謝謝你的參與,讓我們知道如果你需要任何進一步的援助!

歡迎來到磚社區:讓學習、網絡和一起慶祝

加入我們的快速增長的數據專業人員和專家的80 k +社區成員,準備發現,幫助和合作而做出有意義的聯係。

點擊在這裏注冊今天,加入!

參與令人興奮的技術討論,加入一個組與你的同事和滿足我們的成員。

Baidu
map