什麼是最好的學習資源如何調優/優化火花嗎?

[gaponte]

我知道這個問題/主題不是很具體,但是也許問的問題會比我有用的其他的人。

我是一個新手火花,雖然我已經能夠把當前模型訓練和數據轉換運行,他們花很長時間,有條件,感覺症狀的火花(然而)不當優化(我)我在做什麼(例如經常有執行人閑置,經常過去幾個任務需要很長時間的第一個99%相比,和其他各種各樣的問題)。

哪裏是最好的地方去學習如何診斷和修複引發性能問題?我比較相信我經曆的是與磚,根據我的初步研究似乎引發的性能可以改變很多取決於是否被恰當地調整手頭的用例;我不知道什麼是最好的/最快的方法是成為一個引發語者:-)。

[匿名 · Accepted solution]

@Greg阿彭提:沒有最快的方式成為引發專家,但需要大量的奉獻和手工作。我建議你學習所有形式的連接——就像廣播加入,洗牌散列連接、分類合並連接。本質上打亂的數量需要盡可能少,實現它,你應該學習的概念過濾,re-partition和合並。這也可以派上用場。也請找到很多的youtube上的視頻Bricksters解釋如何優化火花代碼。最後,學習和理解每一個執行paramter火花是什麼意思,這樣你可以調整到最佳optmize代碼。

希望這可以幫助!學習快樂!

[Vidula_Khanna]

嗨@Greg阿彭提

希望一切都好!隻是想檢查如果你能解決你的問題,你會很高興分享解決方案或答案標記為最佳?其他的請讓我們知道如果你需要更多的幫助。

我們很想聽到你的聲音。

謝謝!