自動裝卸機maxFilesPerTrigger不正常工作

[桑傑]

你好,

我想申請批大小自動裝卸機,代碼如下。但其挑選的所有更改的,即使我把maxFilesPerTrigger 10。感謝任何幫助。

(spark.readStream.format (json) . schema (streamSchema)

.option (“cloudFiles。backfillInterval”、“一天”)

.option (“cloudFiles。fetchParallelism”, 100年)

.option (“cloudFiles.useNotification”,“真正的”)

.option (“cloudFiles.includeExistingFiles”,“真正的”)

.option (“cloudFiles.allowOverwrites”,真的)

.option (“ignoreMissingFiles”,真的)

.option (“maxFilesPerTrigger”, 10)

.load (raw_path)

.writeStream

bronze_checkpoint_path .option (“checkpointLocation”)

.trigger(一旦= True)

.foreachBatch (foreachBatchFunction)

.start ()

.awaitTermination ()

)

[Lakshay · Accepted solution]

嗨@Sanjay耆那教徒,因為你提供了觸發一次,maxFilesPerTrigger不會生效。與觸發一次,所有的文件將會一起讀。您需要更改觸發這個選項生效。

請參考文檔:

https://docs.m.eheci.com/ingestion/auto-loader/options.html common-auto-loader-options

[桑傑]

謝謝Lakshay

[桑傑]

你好,

這是為自動裝卸機工作,我能夠限製批量大小。但在下一層,我仍然滿載。有什麼方法可以限製批量大小。這是我的代碼。

(spark.readStream.format(“δ”)

.option (“cloudFiles.useNotification”,“真正的”)

.option (“cloudFiles.includeExistingFiles”,“真正的”)

.option (“cloudFiles.allowOverwrites”,真的)

.option (“ignoreMissingFiles”,真的)

.option (“cloudFiles。maxFilesPerTrigger”, 100年)

.option (“ignoreChanges”,“真正的”)

.load (bronze_path)

.writeStream

silver_checkpoint_path .option (“checkpointLocation”)

.trigger (processingTime = 1分鍾)

.foreachBatch (foreachBatchFunction)

.start ()

)