01-16-202311:26裏點
我用PyDeequ數據質量檢查在我們的一個工作。
添加這個檢查之後,我發現這份工作並不完整,運行後無限期PyDeequ檢查完成並返回結果。
如上所述的Pydeequ文檔在這裏最後,我添加了下麵的調用處理。
spark.stop spark.sparkContext._gateway.shutdown_callback_server () ()
然而,這項工作必須繼續運行,最終取消。
任何人麵對這同時結合pydeequ磚。
將不勝感激任何指針。
謝謝。
01-17-2023上午12:56
我不認為磚支持它。
01-17-202302:26我
嗯,deequ當然是我讀到很多人使用它。
當閱讀問題(開啟/關閉)在github上頁的pydeequ,磚中提到的一些問題所以畢竟是可能的。
但我認為你需要檢查你的火花版本等有一個開放的問題關於最近火花版本(https://github.com/awslabs/python-deequ/issues/93)。
01-17-202302:30。我
添加:
不要創建自己的sparksession或停止它。磚處理sparksession。
這裏是pydeequ頁麵的公告:
從未顯出
加入我們的快速增長的數據專業人員和專家的80 k +社區成員,準備發現,幫助和合作而做出有意義的聯係。
點擊在這裏注冊今天,加入!
參與令人興奮的技術討論,加入一個組與你的同事和滿足我們的成員。
