取消
顯示的結果
而不是尋找
你的意思是:

麵臨的問題在火花sql運行轉換代碼框架與5到10%的刺激量數據。需要幫助解決這個要求和建議。

Gopal269673
貢獻者

嗨,所有. .需要你的幫助在我麵臨這個問題。目前我們使用的是數據磚作為一個平台來構建管道和執行我們talend ETL中的轉Beplay体育安卓版本換成火花sql框架我們麵臨問題的曆史數據加載到平台的客戶。

在這個過程中我們看到好的結果維加載但來一些事實在執行我們麵臨很多問題。即使改變可擴展到的節點配置8個工作節點使用i3xlarge 30.5 gb 4核每個節點來執行它。

然而,我看到一些查詢運行超過4小時,當前查詢不是從6小時即使全部節點得到啟動。

表中的行數我看到是4337765617。我附加的查詢以及幾個快照日誌為你快速參考和指導來走出這個問題。感謝你的快速的幫助。

問候,

塔·

11日回複11

Gopal269673
貢獻者

@All用戶群嗨. .我們試過幾個選項調優查詢通過選擇所需變量的選擇和後續條款。我看到其他查詢是小好。但附加查詢似乎無法從過去6小時8工人節點配置。我看到泄漏高,附加指標。任何人都可以提出優化技術在python中注意本研究作為我唯一的scala相關項目。請幫助優化最佳方法指導和材料更具體Pyspark & Sql。

Gopal269673
貢獻者

@All用戶組指標數據連接網頁。

歡迎來到磚社區:讓學習、網絡和一起慶祝

加入我們的快速增長的數據專業人員和專家的80 k +社區成員,準備發現,幫助和合作而做出有意義的聯係。

點擊在這裏注冊今天,加入!

參與令人興奮的技術討論,加入一個組與你的同事和滿足我們的成員。

Baidu
map