有辦法捕捉筆記本從ADF管道日誌嗎?

[SailajaB]

你好,

我想捕捉筆記本自定義日誌異常(python)從ADF管道基於異常的管道應該有成功或失敗。

有什麼機製來實現它。在我測試成功ADF管道無論日誌錯誤。

筆記本總是返回成功adf的活動,甚至在筆記本異常。如果一個筆記本包含任何異常然後adf管道包含特定的筆記本活動應該失敗

謝謝你！

[Prabakar]

B嗨@Sailaja筆記本將跟蹤司機log4j錯誤輸出。你可以檢查集群的司機日誌來獲得這些信息。或者你可以設置日誌記錄您的集群,這樣所有的消息將登錄dbfs和你提供的存儲路徑。

請參考文檔。

https://docs.m.eheci.com/clusters/configure.html cluster-log-delivery-1

[SailajaB · Accepted solution]

謝謝你的回應。

我的問題是不存儲/日誌信息。

我的情況是:

筆記本總是返回成功adf的活動,甚至在筆記本異常。如果一個筆記本包含任何異常然後adf管道包含特定的筆記本活動應該失敗。

[Prabakar]

嗨@Sailaja B筆記本/工作失敗發生時,真的是一個失敗。一些異常的信息可能不會傷害到正在運行的筆記本。更好地理解,請分享你看到的異常筆記本的輸出。

[SailajaB]

這是示例代碼

如果沒有任何(山。掛載點= = " /測試/ "在dbutils.fs.mounts山()):

dbutils.fs。山(源= " * * * ",

mount_point = " /測試/ ",

extra_configs =配置)

其他:

記錄器。錯誤(“目錄”已經安裝)

注意:安裝路徑已經存在。如果我通過ADF管道運行這個筆記本,我期待,管道應該失敗但不是失敗。