SQL查詢花費的時間太長

[匿名]

你好,

我有一個設置SQL查詢運行5小時但SQL端點開始了每次運行時間過長。目前我不知道如何解決這個問題

你能幫我如何改善這個嗎?

[Debayan]

嗨@Jensen Ackles,請你做一個tcpdump端點並檢查啤酒花。同時,檢查網絡日誌可以幫助。同時,查詢重嗎?(準時)前工作正常嗎?

[匿名]

實際上,有時它是好的,有時要花太長時間。順便說一下,我將得到一個tcpdump檢查。

謝謝大家

[《不可饒恕》]

有可能連接到蜂巢metastore耽誤了。當有高度的並發性和爭奪metastore訪問。交互式DBR的集群配置為使用5 (spark.databricks.hive.metastore.client.pool.size)蜂巢的客戶。如果有超過5個並發運行查詢訪問蜂巢的時間更長,那麼可能會緩慢。

簡單的解決方案是增加“spark.databricks.hive.metastore.client.pool試試。大小”。盡量增加32個,看看是否有改善。

[《不可饒恕》 · Accepted solution]

或參考:三角洲湖上更快的SQL查詢與動態文件修剪

//m.eheci.com/blog/2020/04/30/faster-sql-queries-on-delta-lake-with-dynamic-file-prunin..。