我怎樣才能日期自動裝卸機處理文件

[桑傑]

你好,

我運行自動裝卸機持續運行,每1分鍾檢查新文件。我需要存儲文件接收/處理,但它給我當自動裝卸機開始日期。

這是我的代碼。

df =(火花

.readStream

.format (“cloudFiles”)

.option (“cloudFiles。格式”、“json”)

.option (“cloudFiles。在cludeExistingFiles", "true")

.option (“cloudFiles。validateOptions”、“真正的”)

.option (“cloudFiles。區域”、“us-east-1”)

.option (“cloudFiles。backfillInterval”、“一天”)

.option (“cloudFiles。fetchParallelism”, 100年)

.option (“cloudFiles。useNotifications”、“真正的”)

. schema (streamSchema)

.load (raw_path)

.withColumn (process_date,點燃(date.today ()))

)

(df

.writeStream

.format(“δ”)

.outputMode(“追加”)

bronze_checkpoint_path .option (“checkpointLocation”)

bronze_path .option(“路徑”)

.option (“mergeSchema”,真的)

.trigger (processingTime = 1分鍾)#或設置任何有意義的數據來源

.start ()

)

感謝任何幫助。

問候,

桑傑

[Lakshay]

嗨@Sanjay Jain,您可以使用文件元數據列功能收集這些信息。

參考文檔:https://docs.m.eheci.com/ingestion/file-metadata-column.html

[桑傑]

謝謝你Lakshay。它有幫助。

另一個查詢和自動裝卸機相關

1. 如何刪除文件自動一旦成功處理。

問候,

桑傑

[Lakshay · Accepted solution]

嗨@Sanjay Jain,目前我們沒有自動刪除文件的方法。然而,我們正在做一個功能叫做“CleanSource”,將這樣做。目前,在私人預覽。你可以查看這個選項。

或者另一種方法是開發一個小代碼使用文件元數據的列信息定期刪除文件。

[桑傑]

謝謝你Lakshay。