需要幫助跳過以前執行細胞失敗磚的工作與多個SQL調用一個筆記本電池

[Sandy84]

在Azure磚,我有工作,所謂的筆記本有多個細胞與sql查詢。的任何細胞失敗,當我們重新啟動磚工作如何跳過前麵的細胞已經跑,開始隻有從失敗的細胞?任何領導都是有益的。

[Serlal]

你好,桑迪!

對你的問題我2美分。

這看起來更像是一個設計問題,而不是一個技術問題。從它的聲音,它看起來像你的筆記本有太多操作,如果發生故障,再次重複這一切並不理想,否則會使你的問題(如數據複製)。

一個好的策略對於每一個ETL過程是它應該是“可重新開始的”。意思,如果失敗了,能夠重啟和“清潔自己的爛攤子”進行重複它應該做什麼。

所以我想說的一切都放在一個筆記本,試圖找出如何跳過以前執行細胞,為什麼不把筆記本通過邏輯操作,確保每個單元是可重新開始的。例如,如果在一個CMD你創建一個表,你要確保命令是冪等的,而不是使用創建表,使用create table如果不存在。這樣如果你的CMD再次運行,如果表有什麼都不會發生。當然這隻是一個例子我想但我的意思你懂的。

[Sandy84]

謝謝你們的回複. .是的,我同意你的觀點設計部分。然而,在當前的項目我們有1000年代產生的sql和組中的一個筆記本執行操作。但是是的,你的建議聽起來不錯如果不存在創建表和剛才搜索如何使插入CMD等冪和下麵了https://learn.microsoft.com/en-us/azure/databricks/ingestion/copy-into/

將嚐試再看看我們是否可以利用databrick重試的選項。

[匿名]

嗨@Sandip Rath

謝謝你發布你的問題在我們的社區!我們很高興幫助你。

幫助我們為您提供最準確的信息,請您花一些時間來回顧反應和選擇一個最好的回答了你的問題嗎?

這也將有助於其他社區成員可能也有類似的問題在未來。謝謝你的參與,讓我們知道如果你需要任何進一步的援助!