取消
顯示的結果
而不是尋找
你的意思是:

數據磚寫性能

rami1
新的貢獻者二世

我有一個要求重播攝入從著陸數據並建立銀表。我試圖寫三角洲文件從原始Avro文件位於著陸區。原始文件都位於基於日期的文件夾。我目前使用流從文件讀取數據和寫入δZ順序文件。

問題是,每天是8 - 10小時(大約2000萬條記錄)。任何指針如何我可以可以提高性能嗎?

一些我能想到的是:

我可以使用批處理讀而不是流?

使用鑲花而不是δ?

任何其他的嗎?

提前感謝你的幫助

0回答0
歡迎來到磚社區:讓學習、網絡和一起慶祝

加入我們的快速增長的數據專業人員和專家的80 k +社區成員,準備發現,幫助和合作而做出有意義的聯係。

點擊在這裏注冊今天,加入!

參與令人興奮的技術討論,加入一個組與你的同事和滿足我們的成員。

Baidu
map