maxFilesPerTrigger不工作在青銅銀層

[桑傑]

你好,

我用Matillion架構從AWS S3和自動裝卸機選擇文件保存在三角洲湖。下一層選擇三角洲湖的變化,並做一些處理。我能在自動裝卸機設置批量大小和它的工作。但在青銅銀層,無法設置批量限製,其選擇的所有文件。這是我的代碼從青銅銀層. .

(spark.readStream.format(“δ”)

.option (“useNotification”,“真正的”)

.option (“includeExistingFiles”,“真正的”)

.option (“allowOverwrites”,真的)

.option (“ignoreMissingFiles”,真的)

.option (“maxFilesPerTrigger”, 100年)

.load (bronze_path)

.writeStream

silver_checkpoint_path .option (“checkpointLocation”)

.trigger (processingTime = 1分鍾)

.foreachBatch (foreachBatchFunction)

.start ()

)

感謝任何幫助。

問候,

桑傑

[匿名]

嗨@Sanjay耆那教徒的

很高興認識你,謝謝你的問題!

看看你的同行在社區中有一個回答你的問題。謝謝。

[Lakshay]

嗨@Sanjay耆那教的,你可以嚐試使用一個新的檢查點位置如果不是已經試過嗎?同時,請你檢查日誌是什麼微批量的大小目前處理?

[桑傑]

嗨Lakshay,

我試著用新的檢查點位置但仍然不工作。其在整個數據,不尊重批大小中提到的代碼。

問候,

桑傑