幫助
譚恩
貢獻者
自 ‎08-27-2021
‎06-26-2023

用戶數據

  • 7的帖子
  • 0解決方案
  • 1榮譽給
  • 11榮譽收到

用戶活動

有人覺得單元測試數據集是緩慢的嗎?(抽樣)慢得多。這是Scala中的。

10-25-2022
我形象似乎緩慢來自星火計劃,尤其是對於一個更複雜的工作(例如100 +連接)。有辦法加速(如通過禁用某些優化)?

使用.repartition(100000)使單元測試是非常緩慢(> 20分鍾)。有一種速度呢?

06-25-2022
代碼:val結果=火花.createDataset(列表(“測試”)).rdd .repartition (100000) . map{_ = >“測試”}.collect () .toList println(結果)我編寫測試來測試正確性,所以我wonde……

轉換從隨機數字撥號改為數據集,和單元測試需要3 x慢。(但刺激更快)

02-06-2022
我來回轉換數據工作抽樣數據集,我發現,在刺激,數據工作運行更快,這很好。但單元測試運行3 x比以前慢。我最好的猜測是,數據集花時間做很多東西喜歡編碼,優化,查詢…
榮譽從
榮譽給
查看所有
Baidu
map