嗨,所有. .需要你的幫助在我麵臨這個問題。目前我們使用的是數據磚作為一個平台來構建管道和執行我們talend ETL中的轉Beplay体育安卓版本換成火花sql框架我們麵臨問題的曆史數據加載到平台的客戶。
在這個過程中我們看到好的結果維加載但來一些事實在執行我們麵臨很多問題。即使改變可擴展到的節點配置8個工作節點使用i3xlarge 30.5 gb 4核每個節點來執行它。
然而,我看到一些查詢運行超過4小時,當前查詢不是從6小時即使全部節點得到啟動。
表中的行數我看到是4337765617。我附加的查詢以及幾個快照日誌為你快速參考和指導來走出這個問題。感謝你的快速的幫助。
問候,
塔·