你好,
我們試圖使用火花3結構化流特性/選項”.option (“cleanSource”、“檔案”)“歸檔處理文件。
這是使用標準火花實現按預期工作,但是並沒有使用自動裝卸機工作。我不能看到任何文檔指定是否這種支持。這是一個錯誤還是預期。我們已經嚐試了各種調整等都無濟於事。
這是一個錯誤或預期嗎?
有另一種方法使用自動裝卸機嗎?
感謝拉裏
df =(火花。readStream .format (cloudFiles) \ .option (“cloudFiles。形式at", "csv") \ .option("cleanSource","archive") .option("sourceArchiveDir",archivePath) .option('header', 'true') .schema(schema) .load(path) .withColumn("loadDate",lit(datetime.utcnow())) )