我們使用的優勢“Map和Reduce”?

[wyzer]

你好,

我們新磚,我們想知道如果我們的工作方法是好的。

目前,我們正在這樣的:

火花。sql(“創建臨時表(選擇avg(* * *),和(* * *)從aaa左加入bbb * * * * * * > =)”)

通過這種方法,我們使用磚的全部能力,喜歡“Map和Reduce”嗎?

謝謝。

[Kaniz]

嗨@Salah k !我的名字叫Kaniz,我這裏的技術主持人。很高興認識你,謝謝你的問題!看看你的同行在社區中有一個回答你的問題。否則我將盡快給你回電。謝謝。

[werners1 · Accepted solution]

將為您處理map / reduce火花。

隻要你用火花提供功能,無論是在scala中,python或sql(甚至R)您將使用分布式處理。

你隻關心你想要的結果。

然後當你更熟悉火花就可以開始調優(遠東試圖避免打亂,其他連接類型等)

[wyzer]

謝謝你！