取消
顯示的結果
而不是尋找
你的意思是:

改善dowload速度或參見下載進度Python-Databricks SQL

alejandrofm
價值貢獻

這就跟你問聲好!我使用的代碼從這裏到磚上執行一個查詢,它會完美,可以遵循從火花UI,等等。這裏的問題是目前看來結果的下載(火花是閑置,查詢曆史上有一個綠色的選中窗口,不顯示總時間和我沒有本地的數據)。

這裏的問題是,我不知道如何改善這種情況,也沒有多少數據下載,我得到的百分比,剩下的是什麼,等等。即使我不覺得Ganglia看網絡性能了解正在發生的事情。

任何想法如何提高下載速度(或如何診斷有點改善)

另一件事是,端點運行和充電我當這一切發生的時候,所以考慮下載結果S3和從那裏得到它……但要解決監控我可以了解如何改善這個問題。

謝謝!

7回複7

AmanSehgal
尊敬的貢獻者三世

你能添加鏈接,你有代碼嗎?我認為你忘了添加它。

也請添加一些截圖你可以看到你想實現什麼?

當然!我用這個例子:

https://docs.m.eheci.com/dev-tools/python-sql-connector.html sql語言% C2%A0warehouse

附件是我看的形象。它取消了超時,但不能找到一種方法來知道我的本地連接是緩慢的,磚是緩慢的,緩慢或節點。需要更多的信息來改善這些查詢。

謝謝! ! !

AmanSehgal
尊敬的貢獻者三世

查詢曆史上圖標解釋道:

  • 藍色虛線圓意味著查詢正在運行
  • 沙漏圖標意味著查詢排隊
  • 紅場faile意味著查詢
  • 綠色標記意味著查詢執行成功

當一個查詢執行完成時,它會有一個紅場或綠色的蜱蟲。點擊查詢查看指標,打開右邊的屏幕上。在輸入輸出部分你會看到:

  • 行返回
  • 讀取行數
  • 字節讀
  • 從緩存中讀取字節
  • 字節寫

在python代碼,當你叫“cursor.fetchall()”,然後你就可以檢查你收到多少行和地圖查詢曆史輸出。

結果= cursor.fetchall()打印(len(結果))

另外,一旦你的查詢執行完成,倉庫將定義分鍾後關閉不活動或您可以手動關閉它。

是的,查詢成功,但我仍然沒有數據(可能是下載),我需要知道數據的大小下載或下載的進度。

試著增加集群x2和x4的能力,“下載”的速度減少,但我不明白為什麼。是沒有意義的,在我的家鄉連接集群的大小影響下載速度(一旦結果是可用的)。

謝謝!

歡迎來到磚社區:讓學習、網絡和一起慶祝

加入我們的快速增長的數據專業人員和專家的80 k +社區成員,準備發現,幫助和合作而做出有意義的聯係。

點擊在這裏注冊今天,加入!

參與令人興奮的技術討論,加入一個組與你的同事和滿足我們的成員。

Baidu
map