取消
顯示的結果
而不是尋找
你的意思是:

緩慢的Azure上的真空性能數據存儲Gen2湖

gbrueckl
因素二世

我們需要我們的一個最大的表上運行真空自由存儲。根據我們的分析使用

真空bigtable排練

這會影響30 m +文件需要刪除。

如果我們最後真空運行,文件列表需要2 h(好),但實際刪除超級慢大約40文件/秒。

我們已經嚐試過不同的集群配置和spark-settings但沒有產生任何重大影響。

瓶頸似乎是單線程刪除的物理文件運行驅動程序一次隻能刪除一個文件。

任何想法如何加速這?

10個回答10

Kaniz
社區經理
社區經理

你好@gbrueckl!我的名字叫Kaniz,我這裏的技術主持人。很高興認識你,謝謝你的問題!看看你的同行在社區有一個先回答你的問題。否則我們將很快跟進與回複。

所以,任何更新從你或你的同事嗎?

你好@gbrueckl,

我轉發這個團隊。

他們很快就會恢複的。

謝謝你的耐心:smiling_face_with_smiling_eyes:

匿名
不適用

@Gerhard Brueckl——對不起,我們仍然沒有一個更新給你。我再次嚐試。

歡迎來到磚社區:讓學習、網絡和一起慶祝

加入我們的快速增長的數據專業人員和專家的80 k +社區成員,準備發現,幫助和合作而做出有意義的聯係。

點擊在這裏注冊今天,加入!

參與令人興奮的技術討論,加入一個組與你的同事和滿足我們的成員。

Baidu
map