磚

錯誤:py4j。clientserver:有一個例外而執行Python代理Python的一麵。回溯(最近調用最後):文件“/磚/火花/ python / lib / py4j-0.10.9.5-src.zip / py4j / clientserver。py”, 617行,在_call_proxy retu……

加速查詢的最佳實踐是什麼看起來像下麵的哪一個?贏得= Window.partitionBy (key1, key2) .orderBy df(“時間戳”)。選擇(“時間戳”,(F.col (col1) - F.lag (col1) .over(贏得)).alias (col1_diff))我試圖用OP……

我有一個大表增量數據的時間戳,鍵和度量(s)列(例如m1, m2,…)。我經常將集團的關鍵(例如選擇馬克斯(m1)組通過時間戳,鍵)。我不能分區的“關鍵”,因為有太多的值(~ 200 k)。我試過……

根據文檔您可以監視一個火花結構使用QueryExecutionListener流工作。但是我不能找到它。https://docs.m.eheci.com/structured-streaming/stream-monitoring.html語言python

我有一個表和一個時間戳列(t)和列表的列,我想計算的差異隨著時間的推移(v),一些關鍵(k): v_diff (t) = v (t)為每個獨立k - v (t - 1)。通常我會寫:lag_window = Window.partitionBy (C…