改善dowload速度或參見下載進度Python-Databricks SQL

[alejandrofm]

這就跟你問聲好！我使用的代碼從這裏到磚上執行一個查詢,它會完美,可以遵循從火花UI,等等。這裏的問題是目前看來結果的下載(火花是閑置,查詢曆史上有一個綠色的選中窗口,不顯示總時間和我沒有本地的數據)。

這裏的問題是,我不知道如何改善這種情況,也沒有多少數據下載,我得到的百分比,剩下的是什麼,等等。即使我不覺得Ganglia看網絡性能了解正在發生的事情。

任何想法如何提高下載速度(或如何診斷有點改善)

另一件事是,端點運行和充電我當這一切發生的時候,所以考慮下載結果S3和從那裏得到它……但要解決監控我可以了解如何改善這個問題。

謝謝!

[AmanSehgal]

你能添加鏈接,你有代碼嗎?我認為你忘了添加它。

也請添加一些截圖你可以看到你想實現什麼?

[alejandrofm]

當然!我用這個例子:

https://docs.m.eheci.com/dev-tools/python-sql-connector.html sql語言% C2%A0warehouse

附件是我看的形象。它取消了超時,但不能找到一種方法來知道我的本地連接是緩慢的,磚是緩慢的,緩慢或節點。需要更多的信息來改善這些查詢。

謝謝! ! !

[AmanSehgal]

查詢曆史上圖標解釋道:

• 藍色虛線圓意味著查詢正在運行
• 沙漏圖標意味著查詢排隊
• 紅場faile意味著查詢
• 綠色標記意味著查詢執行成功

當一個查詢執行完成時,它會有一個紅場或綠色的蜱蟲。點擊查詢查看指標,打開右邊的屏幕上。在輸入輸出部分你會看到:

• 行返回
• 讀取行數
• 字節讀
• 從緩存中讀取字節
• 字節寫

在python代碼,當你叫“cursor.fetchall()”,然後你就可以檢查你收到多少行和地圖查詢曆史輸出。

結果= cursor.fetchall()打印(len(結果))

另外,一旦你的查詢執行完成,倉庫將定義分鍾後關閉不活動或您可以手動關閉它。

[alejandrofm]

是的,查詢成功,但我仍然沒有數據(可能是下載),我需要知道數據的大小下載或下載的進度。

試著增加集群x2和x4的能力,“下載”的速度減少,但我不明白為什麼。是沒有意義的,在我的家鄉連接集群的大小影響下載速度(一旦結果是可用的)。

謝謝!