你好,
我用Matillion架構從AWS S3和自動裝卸機選擇文件保存在三角洲湖。下一層選擇三角洲湖的變化,並做一些處理。我能在自動裝卸機設置批量大小和它的工作。但在青銅銀層,無法設置批量限製,其選擇的所有文件。這是我的代碼從青銅銀層. .
(spark.readStream.format(“δ”)
.option (“useNotification”,“真正的”)
.option (“includeExistingFiles”,“真正的”)
.option (“allowOverwrites”,真的)
.option (“ignoreMissingFiles”,真的)
.option (“maxFilesPerTrigger”, 100年)
.load (bronze_path)
.writeStream
silver_checkpoint_path .option (“checkpointLocation”)
.trigger (processingTime = 1分鍾)
.foreachBatch (foreachBatchFunction)
.start ()
)
感謝任何幫助。
問候,
桑傑