取消
顯示的結果
而不是尋找
你的意思是:

自定義狀態存儲數據哪裏來的呢

Soma
價值貢獻

有兩個自定義像mapgroupswithstate態函數,

ApplyinpandaswithState

它有一個內部狀態維護是保持在同一statestore (rocksdb)聚合狀態存儲函數

1接受解決方案

接受的解決方案

匿名
不適用

@somanath Sankaran:

是的,自定義狀態函數mapGroupsWithState和applyInPandasWithState使用相同的狀態存儲內置的聚合狀態存儲。默認情況下,這個狀態存儲在RocksDB,嵌入式,持續優化的鍵值存儲大量數據的存儲和檢索。

國家由磚運行時存儲管理和自動分布在工人集群中的節點。這使得國家共享和更新多個任務並行運行。國家也容錯和可以恢複一個節點故障。

當使用自定義狀態功能,重要的是要記住,維護的狀態函數的數量可以產生重大影響集群性能和內存使用。重要的是要正確配置狀態超時和拆遷政策,確保老,未使用的狀態是定期清理,以避免耗盡內存。

在原帖子查看解決方案

2回答2

匿名
不適用

@somanath Sankaran:

是的,自定義狀態函數mapGroupsWithState和applyInPandasWithState使用相同的狀態存儲內置的聚合狀態存儲。默認情況下,這個狀態存儲在RocksDB,嵌入式,持續優化的鍵值存儲大量數據的存儲和檢索。

國家由磚運行時存儲管理和自動分布在工人集群中的節點。這使得國家共享和更新多個任務並行運行。國家也容錯和可以恢複一個節點故障。

當使用自定義狀態功能,重要的是要記住,維護的狀態函數的數量可以產生重大影響集群性能和內存使用。重要的是要正確配置狀態超時和拆遷政策,確保老,未使用的狀態是定期清理,以避免耗盡內存。

Vidula_Khanna
主持人
主持人

嗨@somanath Sankaran

謝謝你發布你的問題在我們的社區!我們很高興幫助你。

幫助我們為您提供最準確的信息,請您花一些時間來回顧反應和選擇一個最好的回答了你的問題嗎?

這也將有助於其他社區成員可能也有類似的問題在未來。謝謝你的參與,讓我們知道如果你需要任何進一步的援助!

歡迎來到磚社區:讓學習、網絡和一起慶祝

加入我們的快速增長的數據專業人員和專家的80 k +社區成員,準備發現,幫助和合作而做出有意義的聯係。

點擊在這裏注冊今天,加入!

參與令人興奮的技術討論,加入一個組與你的同事和滿足我們的成員。

Baidu
map