宣布推出磚SQL

今天,我們宣布了新的磚SQL服務為磚的客戶提供一流的經驗進行BI和SQL工作負載直接在湖的數據。beplay体育app下载地址這次發射在磚給生活帶來全新的體驗,數據分析師和數據工程師要愛。服務提供了一個專用的sql native工作區,內置連接器讓分析師查詢數據湖泊的BI工具已經在使用,查詢性能的創新,提供快速結果和新鮮的數據集比分析師通常可以訪問,和新的治理和管理能力。這次的發布,我們是第一個實現完整的願景lakehouse架構,結合數據倉庫性能和數據湖經濟學。

敵人是複雜性

大多數客戶beplay体育app下载地址在日常業務運作了一個複雜的數據架構的雲,它結合了數據倉庫和數據湖泊。因此,客戶的數據移動組織通beplay体育app下载地址過創建大量的數據倉庫的數據管道。大量的時間是花在維護這些管道和係統從數據,而不是創造新的價值和下遊消費者的數據很難獲得真理的單一來源由於固有的數據倉庫,得到創建。情況變得非常昂貴,財務和運營和決策速度和質量的負麵影響。

到達這個問題是一個漸進的過程。開始與客戶移動數據從關係數據beplay体育app下载地址庫到40年前商業智能數據倉庫。然後,數據湖泊大約10年前開始出現,因為倉庫無法處理原始數據,視頻,音頻,圖像,和自然語言數據,以及大規模結構化數據。

湖泊在雲裏的數據有很高的耐久性、低成本、和無限的規模,他們提供良好的數據支持科學和機器學習用例今天許多企業優先考慮。但是,所有的傳統分析用例仍然存在。和支付,因此,客戶一般beplay体育app下载地址兩份他們的數據,他們花了很多時間工程過程保持同步。這就減慢決策的連鎖效應,因為分析師和業務團隊隻有訪問數據的發送到數據倉庫而不是最新鮮,最完整的數據在數據湖。

最後,作為企業多重雲變得日益普遍的現實,所有這些數據移動正在重複跨多個雲平台。Beplay体育安卓版本

整個形勢一片混亂。

交織在一起的複雜數據湖泊和數據倉庫不可取,和我們的客戶告訴我們,他們希望能夠鞏固和簡化他們的數據架構。beplay体育app下载地址先進的分析和機器學習在非結構化和大規模數據今天最企業戰略重點之一,和非結構化數據的增長會增加成倍增長,因此對客戶有意義的思考定位數據湖為中心的數據基礎設施。beplay体育app下载地址然而,這是可以實現的,數據湖需要一種方法采用數據倉庫的優勢。

lakehouse結合了最好的數據倉庫和數據湖泊

lakehouse這種複雜性的答案是,一個平台架構,結合最好的湖泊和數據倉庫的數據元素。Beplay体育安卓版本啟用了lakehouse通過新係統設計實現類似的數據結構和數據管理功能與數據倉庫直接在低成本存儲用於雲數據湖泊。架構是什麼你會得到如果你不得不重新設計數據倉庫在現代世界,現在,廉價和高可靠的存儲(以對象的形式存儲)是可用的。你可以閱讀更多關於lakehouse的特征博客。

lakehouse的基礎三角洲湖。三角洲湖帶來了可靠性、性能、治理和質量數據湖泊,湖,使分析的數據是必要的。現在,使用正確的數據結構和數據管理功能,使lakehouse完成最後一英裏是解決數據分析師如何查詢數據。

介紹磚SQL

磚SQL允許客戶執行BI和SQL工作負載在多beplay体育app下载地址重雲lakehouse架構。這個新服務包含4個核心組件:一個專用的sql native工作區,內置連接器常見的BI工具,查詢性能的創新和治理和管理能力。

一個sql native工作區

磚SQL提供了一個新的、為數據分析師,使用專用的工作區環境熟悉的基於SQL的查詢數據湖泊三角洲湖表。因為磚SQL是一個完全獨立的工作空間,數據分析師可以直接在磚平台沒有notebook-based幹擾的數據科學工具(盡管我們發現數據科學家真的也喜歡使用SQL編輯器)。Beplay体育安卓版本然而,由於數據分析師和數據科學家都是在相同的數據來源,整個基礎設施大大簡化和單一來源的真理。

工作區允許分析師輕易探索模式,保存經常使用代碼片段快速重用,和緩存查詢結果將隨後的運行時間短。此外,可以將自動刷新查詢更新,以及自動警報刷新問題,通過電子郵件或鬆弛,當數據中有意義的變化。

工作區還允許分析師通過豐富的數據可視化,並組織這些可視化拖拽儀表板。一旦建立,儀表盤可以很容易地共享與利益相關者共享數據洞察力無處不在的整個組織。

內置連接器現有BI工具和廣泛的合作夥伴支持

生產BI,許多客戶在BI投資軟件畫麵和微軟BI。beplay体育app下载地址讓這些工具有最好的體驗查詢最新鮮,最完整的數據在數據湖,磚SQL包含內置連接器的所有主要今天BI工具。

整個數據生命周期,磚的推出支持SQL 500 +磚的合作夥伴生態係統。我們非常高興有以下合作夥伴投資超越與我們在這個推出讓顧客使用自己喜歡的分析工具與磚SQL和lakehouse架構:beplay体育app下载地址

• BI合作夥伴:表,權力BI,Qlik,美人,Thoughtspot
• 攝取的合作夥伴:Fivetran,Fishtown分析,Matillion,Talend,Qlik
• 目錄的合作夥伴:Collibra,Alation
• 谘詢合作夥伴:激流回旋,Thorogood,先進的分析,Avanade

快速查詢性能

使對數據分析工作負載的很大一部分湖是解決性能。有兩個核心挑戰解決提供偉大的性能:查詢用戶吞吐量和並發性。

今年早些時候,我們宣布光子引擎,我們的多態查詢執行引擎。光子引擎加速性能的三角洲湖SQL和數據幀負載通過三個組件:一個改進的查詢優化器,一個緩存層和執行層之間,雲對象存儲,和一個多態矢量化的執行引擎用c++寫的。與光子,客戶發現查詢執行時beplay体育app下载地址間高達10倍的速度比Apache 3.0火花。

與吞吐量處理,我們將我們的注意力轉向用戶並發性。在曆史上,數據湖泊難以保持快速的性能在高用戶數量。為了解決這個問題,磚自動擴展的SQL添加新SQL-optimized計算集群在響應用戶負載提供一致的性能數據分析師湖查詢數據數量的增加。設置這些集群是快速和容易通過控製台,和光子引擎是確保最高水平的內置查詢吞吐量。外部BI客戶可以通過專用的端點連接到集群。

治理和管理

最後,在磚的SQL控製台,我們允許管理員應用SQL數據訪問控製(AWS,Azure)到你的表來獲得更大的控製數據湖是用於分析中的數據。此外,我們提供可見性所有執行查詢的曆史深處,讓你探索世界衛生組織,每個查詢的時候,隨著代碼來幫助您執行遵從性和審計。查詢曆史還允許您理解的性能查詢執行的每個階段協助排除故障。

在行政方麵,總細節你可以查詢運行時,並發查詢,高峰每小時排隊查詢等,以幫助您更好地優化你的基礎設施。您還可以設置控件在運行時的限製,以防止壞的演員和失控的查詢,查詢隊列的限製,等等。

開始

磚SQL完成的最後一步移動lakehouse架構從願景到現實,和磚是驕傲的成為第一個給市場帶來一個完整的lakehouse解決方案。數據團隊的所有成員,從數據工程師和建築師數據分析師的數據科學家,是合作比以往任何時候都更。磚平台的統一方法很容易合作和創新與真理的單一來源,大大簡化了數據基礎設施和更低Beplay体育安卓版本的成本。

今天在預覽磚SQL是可用的。現有客戶能接觸到他beplay体育app下载地址們的帳戶團隊獲得訪問權限。另外,你可以通過請求訪問磚SQL的產品頁麵。

注冊訪問磚SQL