取消注冊/移除一個SparkListener

[天蠍座]

嘿,

目前我使用Pyspark利用SparkListener跟蹤指標的火花工作。我似乎無法解決的問題就是為什麼在磚與removeSparkListener偵聽器不能刪除它仍是附著在上下文。

# Func - def注銷(spark_context: SparkContext *聽眾:SparkListener):偵聽器的聽眾:spark_context._jsc.sc () .removeSparkListener(聽眾)# spark_context._gateway.shutdown_callback_server() #單——sc._jsc.sc () .removeSparkListener(聽眾)# SC SparkContext

[Kaniz]

嗨@CJ W,請通過這個GitHub聯係解決這個補丁:-

• https://github.com/apache/spark/pull/16382/commits/347bb0e74e16cf19511ccfa3ed763db71c57aa4f

請讓我們知道如果它可以幫助你以任何方式。

[天蠍座]

謝謝你的回複!

雖然在實踐中這應該工作,但是它不工作,如果在磚的運行。你還有其他的讀數可以提供嗎?