取消
顯示的結果
而不是尋找
你的意思是:

運行時配置SQL——如何使它簡單

Leszek
貢獻者

你好,我是在我和管道運行的筆記本想spark.sql.shuffle設置固定值的。為每一個筆記本分區”——相同的值。我應該做,通過添加spark.conf.set . .SQL代碼在每個筆記本(運行時配置每會話)或還有其他更簡單的方法來設置嗎?

1接受解決方案

接受的解決方案

Hubert_Dudek1
尊敬的貢獻者三世

最簡單的是使用火花集群配置在高級選項設置:

spark-config-aws

更多的信息在這裏https://docs.m.eheci.com/clusters/configure.html spark-configuration

在原帖子查看解決方案

5回複5

Hubert_Dudek1
尊敬的貢獻者三世

最簡單的是使用火花集群配置在高級選項設置:

spark-config-aws

更多的信息在這裏https://docs.m.eheci.com/clusters/configure.html spark-configuration

Prabakar
尊敬的貢獻者三世
尊敬的貢獻者三世

設置在筆記本或集群,都應該工作。但是,更好的選擇是集群的配置。

jose_gonzalez
主持人
主持人

嗨@Leszek,

像@Hubert杜德克所提到的,我將建議你設置添加到集群火花配置。

筆記本vs集群之間的區別是:

  • 在筆記本上,火花配置隻適用於筆記本引發環境本身。火花配置僅適用於筆記本
  • 在集群中,火花設置將是全球性的,它適用於所有的筆記本電腦連接到集群。

Leszek
貢獻者

你好,謝謝你的建議。我嚐試過火花配置中設置該選項,但沒有工作由於某種原因。今天我再次嚐試工作:)。

圖像圖像

歡迎來到磚社區:讓學習、網絡和一起慶祝

加入我們的快速增長的數據專業人員和專家的80 k +社區成員,準備發現,幫助和合作而做出有意義的聯係。

點擊在這裏注冊今天,加入!

參與令人興奮的技術討論,加入一個組與你的同事和滿足我們的成員。

Baidu
map