如何使用雲取回?

[aldrich_ang]

我們試圖把使用磚sql的數據量很大,似乎對網絡吞吐量瓶頸時獲取數據。

我看到有一個新功能叫做雲獲取,這似乎是完美的解決方案為我們的問題。但是我沒有看到任何文檔如何使用此功能。

[Hubert_Dudek1 · Accepted solution]

關閉獲取架構在ODBC驅動程序。使用它你需要最新的ODBC驅動程序//m.eheci.com/blog/2021/08/11/how-we-achieved-high-bandwidth-connectivity-with-bi-tools.htm..。

大金額在sql大究竟是什麼?也許一些分區,多塊有助於集群和負載。

[aldrich_ang]

我們有什麼方法確認使用雲取回?

我不確定確切的大小,但它是100年代的GB的數據跨多個查詢。

觀察指標的VM執行查詢,最大吞吐量是60 mbps

它似乎不匹配的吞吐量的文檔。它與單線程接近基線。我用2.6.19 ODBC驅動程序

這是一個查詢的示例執行細節

[Kaniz]

嗨@Aldrich盎,ODBC驅動程序版本2.6.17以上支持雲取回,能力,獲取查詢結果中通過雲存儲Azure磚部署。

使用這種格式提取查詢結果,你需要磚運行時8.3或以上。

查詢結果上傳到內部DBFS存儲位置作為arrow-serialized文件20 MB。Azure磚生成和共享訪問簽名返回給上傳文件當司機查詢完成後發送獲取請求。然後ODBC驅動程序使用的url下載直接從DBFS結果。

雲拿隻用於查詢結果比1 MB更重要。從Azure磚直接獲取更多的輕微影響。

Azure磚自動收集積累的文件標記為刪除後24小時。這些標記文件全部刪除後一個額外的24小時。

了解更多關於雲計算獲取架構,明白了我們如何實現高帶寬連接用BI工具嗎。

[werners1]

試圖了解你嚐試:

所以你直接查詢數據庫+ 100 gb或鑲花/δ源嗎?

同時,結果獲取在哪裏?文件下載、BI工具……?