大家好!
我想知道如果有任何方式的子目錄文件駐留在加載時加載與DLT使用自動裝卸機。例如:
def客戶():
回報(
spark.readStream.format (“cloudfiles”)
.option (“cloudFiles。格式,json)
.load (f ' /用戶/客戶/ dynamic_dlt /生/客戶/ customer_ * . json的)
.withColumn (“input_file”input_file_name ())
而是input_file_name()類似input_file_path ()
嗨@Parsa Bahraminejad,我不確定的一個內置函數子目錄名稱,但您可以很容易地通過使用分割函數在‘/’input_file_name()作為文件名稱的完整路徑。
請讓我知道如果這有幫助。