取消
顯示的結果
而不是尋找
你的意思是:

工作與PyDeequ運行後無限期集成

JD410993
新的貢獻者二世

我用PyDeequ數據質量檢查在我們的一個工作。

添加這個檢查之後,我發現這份工作並不完整,運行後無限期PyDeequ檢查完成並返回結果。

如上所述的Pydeequ文檔在這裏最後,我添加了下麵的調用處理。

spark.stop spark.sparkContext._gateway.shutdown_callback_server () ()

然而,這項工作必須繼續運行,最終取消。

任何人麵對這同時結合pydeequ磚。

將不勝感激任何指針。

謝謝。

3回複3

Hubert_Dudek1
尊敬的貢獻者三世

我不認為磚支持它。

werners1
尊敬的貢獻者三世

嗯,deequ當然是我讀到很多人使用它。

當閱讀問題(開啟/關閉)在github上頁的pydeequ,磚中提到的一些問題所以畢竟是可能的。

但我認為你需要檢查你的火花版本等有一個開放的問題關於最近火花版本(https://github.com/awslabs/python-deequ/issues/93)。

werners1
尊敬的貢獻者三世

添加:

不要創建自己的sparksession或停止它。磚處理sparksession。

這裏是pydeequ頁麵的公告:

歡迎來到磚社區:讓學習、網絡和一起慶祝

加入我們的快速增長的數據專業人員和專家的80 k +社區成員,準備發現,幫助和合作而做出有意義的聯係。

點擊在這裏注冊今天,加入!

參與令人興奮的技術討論,加入一個組與你的同事和滿足我們的成員。

Baidu
map