如何訪問從筆記本內的作業調度日期好嗎?

[karolinalbinsso]

我已經創建了一個工作,包含一個筆記本,從Azure存儲讀取一個文件。

當文件的文件名包含日期被轉移到存儲。一個新文件到達每星期一,read-job定於每星期一。

在我的筆記本,我想用工作的schedule-date讀取文件從Azure存儲日期相同的文件名,這樣的:

file_location = (“file_name +“_”+ job_date + _ + country_id + . csv”)

我試圖通過一個日期作為一個參數,我可以訪問的筆記本,但如果工作失敗,我想重新運行工作第二天,昨日我必須手動輸入日期作為輸入參數。我想避免這種情況,隻使用真正的調度工作的日期。

我怎麼訪問從筆記本內的作業調度日期好嗎?

謝謝提前

Karolin

[Hubert_Dudek1 · Accepted solution]

你好,我想在同一個目錄結構的文件,這樣您就可以使用雲文件自動裝卸機。它將逐步隻讀新的文件https://docs.microsoft.com/en-us/azure/databricks/spark/latest/structured-streaming/auto-loader

所以它將是另一種方式,你可以從輸入文件的日期使用。

.withColumn (“filePath input_file_name ())

[Kaniz]

嗨@Karolin Albinsson,隻是一個友好的後續。你還需要幫助,還是@Hubert杜德克(客戶)的反應幫助你找到解決方案了嗎?請讓我們知道。