tl;博士:單元執行純粹的頭節點停止打印輸出執行期間,但輸出仍然出現在集群日誌。執行細胞後,磚不注意細胞完成和卡住。當試圖取消,磚卡住,我們需要“明確的狀態”。
長版:
我們使用tsfresh庫(https://github.com/blue-yonder/tsfresh)在磚頭節點(無火花- Python)。在大多數運行時,筆記本電池的輸出僅僅停止,而細胞仍在執行。這意味著筆記本本身,沒有新的輸出顯示,即使細胞保持在後台運行。我們知道這個,因為這個細胞生成的文件還在寫,而且,在集群- >驅動程序日誌,輸出不斷出現。
這本身就不會是一個問題,然而,磚並不曾意識到細胞完成——這意味著接下來的細胞不會被執行。同時,細胞不能取消常規的方式,我們需要明確的狀態,意味著失去所有計算結果還沒有被寫出來。簡單地取消卡住。
這發生在運行時7.3 LTS,我們改用10.4 LTS現在仍存在的問題。我們嚐試不同的頭節點大小,有時卡住早,有時後,行為並不是一致的。我們推測這與tsfresh如何處理多任務,但問題似乎發生即使我們關閉多任務。
在本地版本的Python筆記本,這永遠不會發生,我們假定它是一個問題/缺陷與磚本身。
任何指針,我們可以試著/我們如何得到接觸磚的人來檢查呢?
