取消
顯示的結果
而不是尋找
你的意思是:

功能表:合並非常緩慢

Ashley1
貢獻者

你好,

我們隻是開始看磚的特性存儲功能。我們第一次嚐試創建一個功能表導致非常緩慢的寫。為了避免所發生的時間特性的功能我生成dataframe相同鍵的,但從蘭德()生成的特征值。這是< 700 k行和列~ 280特性。它似乎不在乎我們是否使用合並模式或覆蓋,這是非常緩慢的獨立的4核心集群上(8.5分鍾)。我從Sparq連接SQL細節UI。是在3.5秒掃描文件匹配和近8.5分鍾重寫匹配的文件。雖然它似乎1.5 gb的輸出,似乎相當長時間重新更改。我試過和沒有分區,重新分區。誰能提供一些見解或建議改善的性能特性/δ表寫?

問候,

阿什利

曆史為集群0622 - 013318 zoqth84b火花UI,司機332737051535251367 - 352查詢詳細信息

5回複5

Vidula
尊敬的貢獻者

你好貝茨@Ashley

希望一切都好!隻是想檢查如果你能解決你的問題,你會很高興分享解決方案或答案標記為最佳?其他的請讓我們知道如果你需要更多的幫助。

我們很想聽到你的聲音。

謝謝!

歡迎來到磚社區:讓學習、網絡和一起慶祝

加入我們的快速增長的數據專業人員和專家的80 k +社區成員,準備發現,幫助和合作而做出有意義的聯係。

點擊在這裏注冊今天,加入!

參與令人興奮的技術討論,加入一個組與你的同事和滿足我們的成員。

Baidu
map