磚

嗨——然而,火花是出了名的難以並行化,因為資訊是一個“懶惰的學習者”和模型本身是整個數據集。大多數單機實現依靠KD樹或球樹來存儲整個數據集的RAM一馬……

嗨nmud19,你得到了什麼錯誤?你可以粘貼一個堆棧跟蹤嗎?你可能需要做出絕對的路徑和遞歸為true。dbutils.fs。rm (“/ mnt / temp”,真的)

嗨@cfregly校正。registerTempTable不創建一個“緩存”內存表,而是一個別名或DataFrame的引用。它類似於一個指針在C / c++或Java的引用。每次你查詢臨時表實際……

你好,您還可以使用窗口函數//m.eheci.com/blog/2015/07/15/introducing-window-functions-in-spark-sql.html ';percent_rank為0.25,0.50和0.75會給你希望你正在尋找。