嗨磚專家:
我使用磚在Azure ....我想了解以下幾點:
1)如果有方法的自動化重新運行一些特定的失敗任務的工作(與幾個任務),例如,如果我有4個任務,任務1和2有成功和task 3和4都失敗了,然後可以重新運行任務3和4一次……我知道有一個功能本身內部工作,允許重新運行失敗的任務,但這需要手動完成;我想自動化這個……更多信息:https://docs.m.eheci.com/data-engineering/jobs/jobs.html(修複失敗的工作運行)
2)如果失敗後,仍然沒有一些任務……然後做一些通知調用一個https url決定下一步要做什麼之後重新嚐試2次。我看到這個文檔(對筆記本進行重試幾次):https://docs.m.eheci.com/notebooks/notebook-workflows.html?_ga=2.96427868.191663080.1659650759-13..。。
我看過這個引用,似乎隻允許電子郵件通知方法失敗的工作:https://stackoverflow.com/questions/61586505/azure-databricks-job-notification-email…這個改變了嗎?
另外:
3)不確定有一個最佳實踐從Azure數據編排筆記本工廠和管理從Azure數據工廠這種類型的問題?我看到這個文檔:https://azure.microsoft.com/es-mx/blog/operationalize-azure-databricks-notebooks-using-data-factory/
看來,如果一個筆記本失敗就可以補上這個DataFactory管道,和管理錯誤(例如發送電子郵件)。
任何幫助將不勝感激。
謝謝
迭戈