spark.apache.org

[Sandeep]

每API文檔StreamingQuery.stop (),

https://spark.apache.org/docs/latest/api/scala/org/apache/spark/sql/streaming/StreamingQuery.html

它說,這將停止執行這個查詢如果是跑步和等待,直到查詢執行線程的終止或直到超時。

這並不意味著它等待micro-batch完成。它將中斷所有活動線程,但等到終止或完成如果不中斷當前線程運行。有時候我們使用不間斷線程,例如與卡夫卡——因為打斷卡夫卡線程磚集群。所有其他線程將被打斷。