是否可以使用自動裝卸機每日更新文件結構嗎?

[StephanieRivera]

我們從每天third-p@rty得到新文件。這些文件可能相同或不同。然而,每天所有的csv文件到達日期在同一文件夾中。是這個結構可以使用自動裝卸機嗎?我們希望每個csv文件表,每天更新。如賬戶表和會計表....

[Hubert_Dudek1 · Accepted solution]

可以使用pathGlobfilter @Stephanie裏維拉,但你需要一個單獨的自動裝卸機哪種類型的文件。

df_alert = spark.readStream.format \ (“cloudFiles”)

.option (“cloudFiles。形式at", "binaryFile") \

.option \ (“pathGlobfilter”, alert.csv”)

.load (< base_path >)

我想我更喜歡先設置一些副本活動(例如在Azure數據工廠,)文件在同一個文件夾中所有數據分組的湖。例如,警報。csv複製到警報文件夾並更名為迄今為止,所以警報/ 2022-04-08。csv(或者拚花相反)。文件夾我將登記在磚metastore所以它將可查詢SELECT * FROM警報、生活表或數據轉換。然後,在複製活動Azure數據工廠,你可以設置它隻檢測新文件並複製它們。

[Kaniz]

嗨@Stephanie裏維拉,隻是一個友好的後續。你還需要幫助,還是@Hubert杜德克(客戶)的反應幫助你找到解決方案了嗎?請讓我們知道。