有哪些選項提供一個低延遲的API對於小表來自大表嗎?

[data_boy_2022]

我有一個大數據集被分成更小的數據集。對於一些較小的數據集我想提供一個低延遲的API(* * *女士)來查詢。

大數據集1 b條目

較小的數據集1緒條目

最好的方法是什麼?

我想到了以下方法:

大數據集- > 100年代小數據集- >推動相關(例如5/100)較小的數據集Postgres DB - >在Postgres DB API

理想情況下,我想更新小數據集定製時間表。

有沒有更好的方法,在磚/三角洲生態係統?

我聽說有一個三角洲住表的概念。這是一個可行的選擇嗎?

[田 · Accepted solution]

這就跟你問聲好！

對於低延遲查詢,這將是偉大的分解成兩部分:查詢服務延遲和數據新鮮度延遲。服務數據與DLT可以在1秒的間隔可能會流,一旦致力於δ,它立即向讀者查詢DBSQL大約1秒的延遲。

如果你正在尋找女士查詢服務延遲,強烈推薦使用一個操作數據庫這樣的用例。希望會有幫助!

[Vidula]

嗨@Jan R

@Tian Tan反應回答你的問題嗎?如果是的,你會很高興它標記為最好,其他成員可以找到解決方案更快嗎?

我們很想聽到你的聲音。

謝謝!