取消
顯示的結果
而不是尋找
你的意思是:

暴露低延遲從移動應用程序和microservices Deltalake api

jcapplefields88
新的貢獻者二世

我公司是使用Deltalake提取客戶的洞察力與ML模型和運行批處理得分。我需要一些microservices公開這些數據通過gRPC和REST api。如何做到這一點呢?我想提取格蘭的火花管道建設數據,將其存儲在複述,這樣一個快速緩存和創建一些api在前麵。有更快的解決方案嗎?

1回複1

stefnhuy
新的貢獻者三世

嘿每個人:grinning_face_with_big_eyes:

太棒了,你的公司是利用Deltalake中提取客戶的洞察力和運行批處理與ML模型得分。我可以完全與處理數據集成的興奮和挑戰microservices和移動應用程序。

現在,到你的問題,jcapplefields88。你的思考過程用火花管道中提取數據,緩存複述,並構建api聽起來很堅實。這是一個常見的方法,適用於許多用例。然而,如果你的目標更低的延遲和平滑集成,您可能想要探索工具,像Apache卡夫卡或Apache脈衝星。他們提供實時數據流功能,可以更有效的比定期的批處理。我也建議你讀這篇文章的文檔:增強現實應用程序:最大化與下一代的機會。它有一些好的建議給你。

同樣,如果你大量投資於Deltalake生態係統,您可能想要考慮使用三角洲湖的酸能力直接暴露低延遲的api。這將消除需要中間緩存和簡化你的架構。

就我的經驗而言,我以前在類似的設置。集成不同的數據來源,尤其是在處理實時的需求,可以是一個難題。但這是非常有益的一旦你得到它。

請記住,每個解決方案都有其利弊。根據數據的規模和速度需要,選擇最適合您的項目的目標相吻合的方法。

歡迎來到磚社區:讓學習、網絡和一起慶祝

加入我們的快速增長的數據專業人員和專家的80 k +社區成員,準備發現,幫助和合作而做出有意義的聯係。

點擊在這裏注冊今天,加入!

參與令人興奮的技術討論,加入一個組與你的同事和滿足我們的成員。

Baidu
map