數據lakehouse

格瓦拉因為眼下聯合國lakehouse嗎?

Il數據lakehouse e una nuova architettura aperta / la gestione一些切達蒂unisce la flessibilita l 'economicita e la scalabilita一些數據湖阿萊funzionalita di gestione一些e阿萊達蒂transazioni酸一些數據倉庫,每realizzare attivita di商業智能(BI) e機器學習(ML)蘇合唱我達緹女士。

數據lakehouse: semplicita flessibilita e costi ridotti

我數據lakehouse introducono聯合國諾沃造作文體di sistema aperto: implementare strutture e funzionalita / la gestione一些蒂衝沙您di聯合國數據倉庫direttamente蘇聯合國sistema di stoccaggio一些analogo quello dei數據達蒂湖。Fondendo讓人們將在聯合國tecnologie整合sistema,我團隊di gestione一些蒂possono agire稍velocemente,在quanto possono utilizzare我達緹女士無bisogno di accedere diversi sistemi。Inoltre,我數據lakehouse fanno si切我團隊abbiano自始至終disposizione我達緹女士稍completi e aggiornati每progetti di數據科學、機器學習業務分析。

Le tecnologie abilitanti lakehouse del數據

Il數據lakehouse波吉亞蘇alcune tecnologie chiave:

• livelli di metadati /數據湖;
• 每seguire motori di查詢di nuova concezione interrogazioni SQL廣告alte prestazioni蘇數據湖;
• 每strumenti accesso ottimizzato di數據科學e機器學習。

我livelli di metadati蘇,三角洲湖開源,如果innestano formati di文件aperti(廣告es。文件拚花)e tracciano合格文件fanno傑克遜delle多樣化versioni黛拉片,每offrire ricche funzionalita di gestione來transazioni conformi廣告酸。我livelli di metadati abilitano altre funzionalita comuni lakehouse一些數據,來supporto每流的I / O(切elimina la necessita di總線di messaggi卡夫卡),viaggi nel節奏一個versioni precedenti黛拉片,applicazione ed evoluzione di schemi e convalida dei達緹女士。勒prestazioni園子溫fondamentali affinche我數據lakehouse diventino l 'architettura蒂predominante內爾aziende現代,poiche e una delle ragioni principali /崔esistono我數據倉庫內爾'architettura livelli到期。Mentre我數據湖con archivi di oggetti男低音歌手costo avevano聯合國accesso passato慢板,我motori di查詢di nuova concezione consentono analisi SQL廣告alte prestazioni。讓人們ottimizzazioni comprendono memorizzazione緩存迪蒂“caldi”在RAM中/ SSD (possibilmente transcodificati在formati稍efficienti), ottimizzazione del布局一些每creare集群迪蒂蒂廣告accesso congiunto, strutture迪蒂ausiliari statistiche e indici, ed esecuzione vettorizzata蘇CPU現代。La combinazione di人們tecnologie consente ai數據lakehouse di raggiungere prestazioni蘇大人物迪蒂切competono反對我數據倉庫,我第二聲部測試comparativi TPC-DS。修道院的人工智能戴formati迪蒂aperti utilizzati lakehouse數據(來拚花),愛情甚靈巧的每個數據科學家e di機器學習等accedere艾蒂nel lakehouse。一個故事scopo possono utilizzare strumenti甚diffusi內爾'ecosistema DS /毫升熊貓,TensorFlow PyTorch e altri格瓦拉possono accedere sorgenti來鋪e獸人。火花DataFramesmette inoltre一disposizione interfacce dichiarative每questi formati aperti格瓦拉consentono聯合國'ulteriore ottimizzazione degli I / O。Le altre funzionalita del數據lakehouse,小夥delle revisioni e viaggi nel節奏,contribuiscono ulteriormentemigliorare la riproducibilita nel機器學習。每approfondire gli sviluppi tecnologici格瓦拉stanno guidando la transizione封底il數據lakehouse consigliamo documento di CIDR的勒圖拉Lakehouse:新一代的開放式平台,統一數據倉庫和先進的分析Beplay体育安卓版本e工作室報稱大學三角洲湖:高性能酸表存儲在雲存儲對象。

Storia delle architetture迪蒂

Nozioni忠利隋數據倉庫

我數據倉庫vantano una隆storia內爾applicazioni di supporto阿萊decisioni e di商業智能,nonostante fossero inadatti o甚costosi每gestire蒂非strutturati e semi-strutturati o蒂con varieta velocita e volumi elevati。

L 'avvento一些數據

園子篇nati我數據湖每gestire grezzi達蒂在svariati formati蘇sistemi di存儲男低音歌手costo每attivita di數據科學e機器學習,馬非avevano le funzionalita critiche一些數據倉庫:非supportano transazioni,非assicurano la qualita一些e,達蒂inoltre, la mancanza di coerenza / isolamento仁德pressoche impossibile mischiare scritture e letture lavori批e流。

由於livelli Architettura迪蒂

我團隊di gestione一些對於“cuciono”篇insieme questi sistemi每票attivita di BI e毫升隋蒂conservati entrambi我sistemi,反對conseguenti problemi di duplicazione一些蒂costi額外每l 'infrastruttura sicurezza e di costi gestione rilevanti。在聯合國'architettura livelli到期,我對於vengono trasferiti反對聯合國procedimento ETL戴數據庫operativi聯合國數據湖。Il湖形成閉路我di tutta l 'impresa達蒂在聯合國archivio di oggetti男低音歌手costo e在聯合國formato相容性反對我comuni strumenti di機器學習,馬spesso非e organizzato e在modo adeguato mantenuto。Successivamente, una piccola frazione一些關鍵業務達蒂viene nuovamente elaborata反對聯合國processo ETL / essere caricata nel數據倉庫scopo di商業智能e analisi dei達緹女士。一個授予的一些molteplici passaggi ETL、, architettura應有livelli richiede una manutenzione連續e spesso屬“stantii”,達蒂豐特每analisti e di preoccupazione數據科學家第二聲部recenti sondaggi di Kaggle e Fivetran。Approfondisci我由於livelli problemi稍comuni戴爾'architettura。