從Hadoop現代雲平台遷移:Hadoop的替代品Beplay体育安卓版本
2019年11月27日 在公司博客上
公司依靠他們的大數據分析平台Beplay体育安卓版本支持創新和數字轉換策略。然而,許多Hadoop用戶與複雜性,鬥爭不能攀登的基礎設施、過度維護開銷和整體,未實現的價值。我們幫助客戶瀏覽beplay体育app下载地址他們的Hadoop雲平台遷移到現代磚和我們的合作夥伴等產品和解決方案,並在這篇文章中,我們將分享我們所學到的。Beplay体育安卓版本
使用Hadoop挑戰架構
團隊從Hadoop因為各種各樣的原因。通常是“推”和“拉”:局限性與現有的Hadoop係統正在推動團隊探索Hadoop的替代品,而且他們也被現代雲數據架構所帶來的新可能性。不同團隊的架構需求有很大差異,我們看到一些常見因素與客戶期待離開Hadoop。beplay体育app下载地址
- 糟糕的數據可靠性和可伸縮性:一家製藥公司與它有數據可伸縮性問題Hadoop集群,這對研究項目不能擴大或縮小以減少成本。消費者品牌公司厭倦了Hadoop工作失敗,導致其數據處於進退兩難的境地,影響團隊的工作效率。
- 時間和資源成本:一個零售公司正在經曆過多的操作負擔維護所需的時間和人數,補丁,升級複雜的Hadoop係統。媒體啟動了降低生產率,因為時間配置的係統,而不是完成工作業務。
- 阻止項目:一個物流公司想要做更多的數據,但該公司的Hadoop-based數據平台跟不上它的商業目標團隊隻能處理樣品的成像數據,他們有先進的網絡計算,不能在合理的時間內完成。Beplay体育安卓版本另一個製造業公司的數據在不同的筒倉,一些在HPC集群,在Hadoop,阻礙業務的重要深度學習項目。
除了技術上的挑戰,我們也有客戶在長期生存能力提高問題的技術和業務穩定的供應商。beplay体育app下载地址穀歌,其開創性的2004年論文在MapReduce支持Apache Hadoop的開源開發,已經完全停止使用MapReduce,在推特上穀歌高級副總裁烏:“……《安息吧MapReduce。後服務我們自2003年以來,今天我們把剩餘的內部代碼庫好…”反映的這些技術的變化整合和購買Hadoop-focused供應商看到的活動空間。這組問題激發了許多公司重新評估他們的Hadoop投資技術是否仍然符合他們的需求。
轉向現代雲數據平台Beplay体育安卓版本
數據平台構Beplay体育安卓版本建進行使用可以提供重要的收益遺留Hadoop環境相比,采用“拉動式”公司在雲。這也包括客戶試圖使用Hadoop在雲中beplay体育app下载地址。這裏有一些結果從客戶,遷移到Hadoop磚從基於雲的服務。
- 高達50%的性能提升在運行時數據處理的工作
- 每月的基礎設施成本低40%
- 數據處理高200%的吞吐量
- 安全環境的憑證集中在6個全球團隊
- 十五AI和ML倡議暢通和加速
Hadoop本身並不是設計運行在雲環境中,雖然雲Hadoop服務肯定有改進與本地同行相比,兩者相比仍然落後於現代數據平台架構在雲上運行的性能和能力來解決更複雜的數據用例。Beplay体育安卓版本本地Hadoop客戶我們已經看過,比beplay体育app下载地址上麵所提到的進步更大。
管理變更:Hadoop雲遷移的原則
而遷移到一個現代雲數據平台可以是艱巨的,我們共事的客戶經常考慮住在他們的現有解Beplay体育安卓版本決方案的前景更糟糕。beplay体育app下载地址住在那裏,他們明顯的痛苦比遷移的成本。我們努力簡化遷移過程在各種維度:
- 管理的複雜性和規模:元數據運動,工作負載遷移,數據遷移
- 管理質量和風險:方法、項目計劃、時間表、技術映射
- 管理成本和時間:合作夥伴和專業服務帶來經驗和訓練
未來防你的雲分析項目
雲遷移決策是對商業決策技術。他們迫使企業認真審視當前的係統交付,並評估他們需要實現他們的目標,他們是否以pb的數據處理,發現客戶的見解,或業務財務目標。
明確這些目標會帶來重要的技術細節,比如從本地模型技術組件映射到雲模型,評估雲資源利用率和cost-to-performance,構建遷移項目來減少錯誤和危險。如果你想了解更多,看看我按需網絡研討會探索雲遷移的概念,數據現代化最佳實踐、產品演示和遷移。