如何限製批量大小支流卡夫卡

[AdamRink]

我有一個大的數據讀取彙合的卡夫卡,500 +數百萬行。當我初始化流讀無法控製批量大小。

我試著readstream設置選項——maxBytesPerTrigger maxOffsetsPerTrigger fetch.max。字節,max.poll.records

maxRatePerPartition火花集群配置選項

從一個全新的檢查點

[UmaMahesh1]

推特)嗨@溜冰場

隻是檢查進一步的信息關於你的問題。你怎麼推斷,批量大小是你提供多maxOffsetsPerTrigger嗎?

[AdamRink]

查看SQL工作和看309毫升55行和人力資源運行時間流的狀態仍然是初始化。沒有數據被寫入到一個表的過程。