火花會如何處理1 tb的數據如果集群1 gb內存嗎?

[abd]

如果我的例如集群1 gb內存和數據是1 tb火花將如何處理?

如果是在內存中計算它如何處理的數據大於內存大小?

[abd]

@Kaniz Fatma @Cedric法興平

[塞德裏克 · Accepted solution]

嗨@Abdullah杜蘭尼,

引發工人將泄漏磁盤上的數據,如果數據集大於內存大小。

我建議你遵循最佳實踐的頁麵https://docs.m.eheci.com/clusters/cluster-config-best-practices.html cluster-sizing-consideration……確定集群的大小應該配置為您的用例。

[Kaniz]

嗨@Abdullah杜蘭尼,請檢查年代的鏈接。