我用PyDeequ數據質量檢查在我們的一個工作。
添加這個檢查之後,我發現這份工作並不完整,運行後無限期PyDeequ檢查完成並返回結果。
如上所述的Pydeequ文檔在這裏最後,我添加了下麵的調用處理。
spark.stop spark.sparkContext._gateway.shutdown_callback_server () ()
然而,這項工作必須繼續運行,最終取消。
任何人麵對這同時結合pydeequ磚。
將不勝感激任何指針。
謝謝。
添加:
不要創建自己的sparksession或停止它。磚處理sparksession。
這裏是pydeequ頁麵的公告: