λ架構

λ架構是什麼?

λ架構是一種處理大量的數據(即。“大數據”)提供批處理和流處理方法的混合方法。λ架構是用來解決計算任意函數的問題。λ架構本身是由3層:

批處理層

新數據不斷出現,作為一個提要的數據係統。它被美聯儲同時批處理層和層速度。同時它看起來所有的數據,最終糾正流中的數據層。在這裏,我們可以找到很多ETL和傳統的數據倉庫。這一層是使用一個預定義的安排,通常一天一次或兩次。批處理層有兩個非常重要的功能:

• 管理主數據集
• pre-compute批視圖。

服務層

輸出的形式從批處理層批看法和那些來自速度層接近實時的視圖的形式得到轉發到服務。這一層索引批處理視圖,這樣他們可以查詢在臨時低延遲。

流速度層(層)

這一層處理的數據尚未交付批視圖中由於延遲的批處理層。此外,它隻處理最近的數據,以提供一個完整的數據視圖向用戶通過創建實時的視圖。

λ架構的好處

這裏是λ架構的主要好處:

• 沒有服務器管理——你不需要安裝、維護或管理軟件。
• 靈活的擴展——您的應用程序可以自動縮放或縮放調整的能力
• 自動化的高可用性——指的是事實,serverless應用程序已經內置的可用性和故障容忍。它代表了保證所有請求會得到回應是否成功與否。
• 業務敏捷性-實時響應不斷變化的業務/市場場景

挑戰與λ架構

• 複雜性-λ可以高度複雜的架構。管理員通常必須維護兩個獨立的代碼庫為批處理和流層,可以使調試困難。

相關的

三角洲湖:統一批處理和流源和下沉