如何優化運行時在10.4集群

[databicky]

我從火花dataframe 10億數據加載到目標表,但在7.3集群需要3個小時完成但遷移到10.4集群後8小時才能完成,我怎麼能減少時間

[Debayan]

你好,請參考https://docs.m.eheci.com/clusters/cluster-config-best-practices.html集群配置的最佳實踐。請讓我們知道這有幫助。

[jose_gonzalez]

嗨@Mohammed sadamusean,

你能提供更多細節在你在做什麼?什麼類型的轉換/動作你在做什麼?什麼你的源和彙嗎?批處理或流?所有這些信息會有所幫助。

[databicky]

我adls中的數據,這場數據加載到多個dataframes磚筆記本,從最終dataframe我加載數據到最終目標表基於dataframe tempview,通常需要3 7.3集群但在10.4集群需要8小時左右,10億條記錄

[jose_gonzalez]

你能檢查你的火花UI來確定哪個階段時間最長,並分享一些信息嗎