如何提高火花流作家輸入速率和處理速率?

[RengarLee]

這就跟你問聲好！

我有很多問題引發流和Evnethub。

你能幫我嗎?

Q1:如何提高火花流作家輸入速率和處理速率?

我使用火花連接Azure Eventhubs流(Azure磚),但我發現如果我使用顯示,這個輸入速度非常快,如果我用作家非常緩慢。結果這Prcture.1,這個Picture.2 Picture.3代碼。我想提高作者輸入速率和處理速率在一定程度上,即將離任的字節數大於輸入字節的活動中心,顯示。

我應該做什麼?

Q2: setMaxEventsPerTrigger不等於numInputRow ?

我設置10000 setMaxEventsPerTrigger eventhubsConf,但是為什麼numInputRow RawData裏麵是1000,像Prcture.5。setMaxEventsPerTrigger不等於numInputRow呢?

[jose_gonzalez · Accepted solution]

嗨@Rengar李,

你讀多少Eventhubs分區?檢查你的神經節UI來檢查您的集群利用率。另外,什麼時間寫數據到沉?你可以從火花日誌查詢指標。

[RengarLee]

你讀多少Eventhubs分區?

隻有一個分區。

檢查你的神經節UI來檢查您的集群利用率

Prcture.1

什麼時間寫數據到水槽嗎?

Prcture.2

我發現無論多少setMaxEventsPerTrigger numInputRow是1000。

可以在1秒不寫完,導致延遲接下來的寫,所以事件中心即將離任的字節很低。

如果我可以設置numInputRow超過1000,我認為這個問題可以解決。

EventHubs Prcture3。