集群性能

[Vibhor]

麵對集群性能的問題,在事件日誌可以看到——集群不是響應可能由於GC。運行的管道(磚筆記本)數量和集群配置是一樣過去但開始前1周以來看到這個問題。可能是內存以外的其他可能的根源或負載集群可以導致這個我們如何解決它。

[Piper_Wilson]

你好@Vibhor Sethi -我的名字叫風笛手和我的版主之一磚。歡迎並感謝您的問題。讓我們給它一段時間看看社區說。否則,我們會再循環。

[jose_gonzalez]

嗨@Vibhor Sethi,

你看到任何錯誤消息嗎?你數據量增加了嗎?什麼樣的工作你跑步嗎?

[Vibhor]

嗨@Jose岡薩雷斯-沒有不看到錯誤消息隻看到它困有時在運行第一個細胞將第二個手動運行。我們已經與多個數據集分布式env和交互式集群難以分析。有什麼方法,通過火花UI等我們可以分析如果數據量增加等?

[jose_gonzalez · Accepted solution]

嗨@Vibhor Sethi,

你可以檢查火花UI - - > SQL子選項卡。在這個SQL選項卡中你可以找到工作持續時間、身體計劃,查詢執行DAG。文檔在這裏

你需要檢查DAG和查詢執行的細節。它會給你細節表掃描,行數,數據大小,等等。你需要比較這DAG細節引發工作運行好過去和新卡。