數據lakehouse架構:磚的良好的框架
這組數據lakehouse架構文章提供了原則和最佳實踐的實現和操作lakehouse使用磚。
lakehouse磚上的良好的框架
的lakehouse架構完善由7根柱子組成,描述不同領域關心的實現數據在雲中lakehouse:
數據治理
監督,確保數據帶來價值,支持您的業務策略。
互操作性和可用性
lakehouse的能力與用戶和其他係統進行交互。
卓越運營
所有操作過程保持lakehouse運行在生產。
安全,隱私,合規
保護磚的應用程序,客戶工作負載和客戶數據的威脅。
可靠性
一個係統從故障中恢複的能力,繼續函數。
性能效率
係統的能力,以適應負載的變化。
成本優化
管理成本交付的價值最大化。
的lakehouse架構完善擴展了AWS的良好框架磚Lakehouse平台和股票的支柱”Beplay体育安卓版本卓越運營”、“安全“(”安全,隱私,合規”)。”可靠性”、“性能效率”和“成本優化”。
對於這些五根柱子,雲的原則和最佳實踐框架lakehouse仍然適用。的lakehouse架構完善擴展這些原則和最佳實踐的特定lakehouse和重要的建立一個有效和高效的lakehouse。
數據治理和互操作性和可用性在lakehouse架構
支柱”數據治理”和“互操作性和可用性“蓋擔憂lakehouse所特有的。
數據治理封裝了實現安全管理的政策和實踐數據資產在一個組織。的一個基本方麵lakehouse集中式數據治理:lakehouse結合數據倉庫和AI用例在單一平台。Beplay体育安卓版本這簡化了現代數據堆棧通過消除數據孤島,傳統上單獨的和複雜的數據工程,分析,BI,數據科學和機器學習。為了簡化數據治理,lakehouse為數據提供了一個統一的治理解決方案,分析和人工智能。通過最小化數據的拷貝和移動到一個數據處理層,你所有的數據治理控製可以一起運行,提高你的機會呆在遵從性和檢測數據泄露。
lakehouse的另一個重要原則是提供一個良好的用戶體驗的所有角色的工作,並且能夠與多種生態係統的外部係統交互。AWS已經有各種各樣的數據工具,執行大多數任務數據驅動的企業可能需要。然而,這些工具必須正確裝配提供的所有功能,與每個服務提供不同的用戶體驗。這種方法會導致實現成本高和通常不提供相同的用戶體驗作為一個本地lakehouse平台:用戶是有限的工具之間的不一致性和缺乏協作能力,通常需要經過複雜的過程訪問係統,從而數據。Beplay体育安卓版本
一個集成lakehouse另一方麵提供了一致的用戶體驗所有工作負載,因此增加了可用性。這樣可以減少培訓和新員工培訓成本和改善之間的協作功能。此外,新特性是隨時間自動添加進一步改善用戶體驗,而不需要投資內部資源和預算。
multicloud方法可以是一個深思熟慮的戰略的公司合並和收購的結果或獨立業務單位選擇不同的雲服務提供商。在這種情況下,使用一個multicloud lakehouse結果在所有雲在一個統一的用戶體驗。這降低了整個企業係統的擴散,從而減少員工的技能和培訓要求參與數據驅動的任務。
最後,在網絡世界跨公司業務流程,係統必須盡可能無縫地協同工作。互操作性的程度是一個重要的標準,和最近的數據,作為核心資產的任何業務,必須在內部和外部合作夥伴之間安全地流係統。