我的火花SQL加入速度非常緩慢——我能做些什麼來呢?

[User16765128951]

花10 - 12分鍾,我可以讓它更快嗎?

[User16765128951]

嗨mlimotte,

這筆記本競選一個舊版本的火花——我們將更新它引發未來磚1.4版本。一般來說這些建議仍然適用:

1)如果你想算出如果BroadcastHashJoin是否發生——使用% sql解釋選擇

2)分析命令不需要現在所有的表類型,比如當你創建一個表“.saveAsTable”

維達

[DeenarToraskar]

嗨維達

> >分析命令不需要現在所有的表類型,比如當你創建一個表“.saveAsTable”

這是否意味著數據可用於任何表創建.saveAsTable(因此他們將廣播廣播下如果他們的大小限製?)

[DeenarToraskar]

我得到了我的答案BroadcastHashJoin工作簿。(是的)

[User16765128951]

分析不需要拚花表使用磚鋪的包。現在是默認使用.saveAsTable時(),但如果你使用不同的輸出格式,可能分析可能還不工作。