取消
顯示的結果
而不是尋找
你的意思是:

有可能加入兩種聚合流的數據嗎?

osoucy
新的貢獻者二世

客觀的

的上下文中δ生活表,我想合並兩個流聚合,但遇到挑戰。有可能實現這樣一個加入?

上下文

假設

——表交易商店的列表與它們相關的交易時間戳

——表trades_1d所有交易金額的值在給定的一天

——表stock_price商店一個給定的股票價格(不恒定)采樣頻率

——表stock_price_1d平均股價在給定的一天

將翻譯的事情等

進口pyspark.sql。函數作為sqlf sdf_trades = spark.readStream.format(“δ”).table (f stock_price) sdf_price = spark.readStream.format(“δ”).table (f stock_price) w = sqlf。窗口(“timetstamp”、“24小時”)sdf_trades_1d = (sdf_trades .groupby (w) .agg (sqlf.sum (“trade_value”)) .withColumn (“window_end sqlf.col (“window.end”)) .withColumn (“window_start sqlf.col (“window.start”))) sdf_price_1d = (sdf_price .groupby (w) .agg (sqlf.avg(“價值”)).withColumn (“window_end sqlf.col (“window.end”)) .withColumn (“window_start sqlf.col (“window.start”)))。withWatermark (“window_end”、“48小時”)自衛隊= sdf_trades_1d。加入(sdf_price_1d“window_end”、“左”)

問題

當運行上麵的偽代碼中,我得到了

“附加更多的錯誤:多個流不支持聚合流DataFrames /數據集”

任何建議我可以做這個工作嗎?

0回答0
歡迎來到磚社區:讓學習、網絡和一起慶祝

加入我們的快速增長的數據專業人員和專家的80 k +社區成員,準備發現,幫助和合作而做出有意義的聯係。

點擊在這裏注冊今天,加入!

參與令人興奮的技術討論,加入一個組與你的同事和滿足我們的成員。

Baidu
map