加上鑲花文件的創建日期DataFrame

[wyzer]

目前我加載多個拚花文件代碼:

df = spark.read.parquet (“/ mnt / dev /銅/憑證/ * / *”)

(代金券文件夾,裏麵有一個文件夾按日期。包含一個鑲花的每一個文件)

我如何添加一個列到這個DataFrame,包含每個拚花文件的創建日期嗎?

謝謝

[MichailKaramano · Accepted solution]

你好,

您可以使用文件元數據列:https://docs.m.eheci.com/ingestion/file-metadata-column.html

這樣你可以訪問file_path,file_name,file_size和file_modification_time數據文件的相應dataframe行。不需要手動做!

我發現它有用

[wyzer]

由於@Michail Karamanos