取消
顯示的結果
而不是尋找
你的意思是:

我想要運行一個流工作從早晨6。到晚上5便士。在磚m我怎麼安排這個窗口。或你如何阻止我流下午5點?

Bhawna_bedi
新的貢獻者二世
7回複7

Sandeep
貢獻者三世

如果你正在尋找一個優雅的停止(不停止在5但停止後在進步的micro-batch 5點而不是突然停止流),你可以試試下麵的。缺點是如果微批時間高,流停止將推遲。

進口java.time。LocalTime val queryStopListner = new StreamingQueryListener(){覆蓋def onQueryStarted (queryStarted: StreamingQueryListener.QueryStartedEvent):單位={}覆蓋def onQueryTerminated (queryTerminated: StreamingQueryListener.QueryTerminatedEvent):單位={}覆蓋def onQueryProgress (queryProgress: StreamingQueryListener.QueryProgressEvent):單位= {val id = queryProgress.progress。id如果(LocalTime.now () .isAfter (LocalTime.parse (“17:00:00”))) {val currentStreamingQuery = spark.streams.get currentStreamingQuery (id)。停止}}}/ /這個查詢listner添加到會話spark.streams.addListener (queryStopListner)

DimaP
新的貢獻者二世

可能有人知道將會發生什麼如果我在工作流任務超時設置為流媒體工作嗎?

馬爾卡
重視貢獻二世

如果你流三角洲,不多,微一批將在下一次失敗,流將從去年成功寫(由於酸)。我不知道其他格式,如果流在微批中期流產。

歡迎來到磚社區:讓學習、網絡和一起慶祝

加入我們的快速增長的數據專業人員和專家的80 k +社區成員,準備發現,幫助和合作而做出有意義的聯係。

點擊在這裏注冊今天,加入!

參與令人興奮的技術討論,加入一個組與你的同事和滿足我們的成員。

Baidu
map