我們興奮地宣布磚5.0運行時的可用性。包含在這個版本火花2.4。這個版本提供了巨大的性能提高的關鍵領域內的平台。Beplay体育安卓版本基準工作負載顯示16%的改善總執行時間和磚三角洲受益於實質性的改進元數據緩存,提高查詢延遲了30%。除了這些強大的性能改進我們這個版本與許多新特性和改進。我現在就突出一些。
增強與合並寫道,刪除和更新數據磚三角洲
與磚5.0運行時我們改進的MERGE命令的用法:
- 可伸縮的MERGE命令與磚三角洲:不再是一個限製插入和更新的數量,可以執行合並。我們已經取消了以往任何限製允許合並可伸縮性數十億行。
現在你也可以使用合並為SCD 1型和2型查詢。SCD 2型查詢跟蹤給定自然曆史數據通過創建多個記錄的關鍵維度表。典型用例磚三角洲現在支持的樣子:給定一個表與客戶和他們的當前地址列表,SCD 2型查詢允許您更新客戶的當前地址之前和維護記錄的地址連同活動日期範圍查詢。beplay体育app下载地址為進一步的信息合並,和這些新特性見參考文檔。
- 現在支持子查詢的WHERE子句刪除和更新命令。任何子查詢您通常會放在一個WHERE子句刪除和更新現在支持在磚三角洲,比如下麵的例子:
<<跨度>跨風格<跨度class="hljs-operator">=<跨度>“顏色:# 339966;”<跨度class="hljs-operator">><跨度class="hljs-operator"><<跨度>我<跨度class="hljs-operator">><跨風格="color:#408080;font-style:italic">——示例1 < / i > < / span ><跨度><跨度><<跨度>跨風格<跨度class="hljs-operator">=<跨度>“顏色:# 0000 ff;”<跨度class="hljs-operator">><跨風格="color:#a71d5d">刪除<跨度><跨風格="color:#a71d5d">從<跨度class="hljs-operator"><<跨度class="hljs-operator">/<跨度>跨度<跨度class="hljs-operator">><跨度>all_events<跨度><跨度 class="hljs-operator"><<跨度>跨風格<跨度class="hljs-operator">=<跨度>“顏色:# 0000 ff;”<跨度class="hljs-operator">><跨度><跨風格="color:#a71d5d">在哪裏<跨度class="hljs-operator"><<跨度class="hljs-operator">/<跨度>跨度<跨度class="hljs-operator">><跨度>session_time<跨風格="color:#a71d5d">選擇<跨度><跨度 class="hljs-operator"><<跨度>跨風格<跨度class="hljs-operator">=<跨度>"顏色:# ff0000;“<跨度class="hljs-operator">><跨度class="hljs-operator"><<跨度>我<跨度class="hljs-operator">><跨度>最小值<跨度class="hljs-operator"><<跨度class="hljs-operator">/<跨度>我<跨度class="hljs-operator">><跨度class="hljs-operator"><<跨度class="hljs-operator">/<跨度>跨度<跨度class="hljs-operator">><跨度>(session_time)<跨度><跨度 class="hljs-operator"><<跨度>跨風格<跨度class="hljs-operator">=<跨度>“顏色:# 0000 ff;”<跨度class="hljs-operator">><跨度><跨風格="color:#a71d5d">從<跨度class="hljs-operator"><<跨度class="hljs-operator">/<跨度>跨度<跨度class="hljs-operator">><跨度>good_events)<跨度><跨度 class="hljs-operator"><<跨度>跨風格<跨度class="hljs-operator">=<跨度>“顏色:# 339966;”<跨度class="hljs-operator">><跨度class="hljs-operator"><<跨度>我<跨度class="hljs-operator">><跨風格="color:#408080;font-style:italic">——示例2 < / i > < / span ><跨度><跨度><<跨度>跨風格<跨度class="hljs-operator">=<跨度>“顏色:# 0000 ff;”<跨度class="hljs-operator">><跨風格="color:#a71d5d">刪除<跨度><跨風格="color:#a71d5d">從<跨度class="hljs-operator"><<跨度class="hljs-operator">/<跨度>跨度<跨度class="hljs-operator">><跨度>訂單<跨度class="hljs-operator"><<跨度>跨風格<跨度class="hljs-operator">=<跨度>“顏色:# 0000 ff;”<跨度class="hljs-operator">><跨風格="color:#a71d5d">作為<跨度class="hljs-operator"><<跨度class="hljs-operator">/<跨度>跨度<跨度class="hljs-operator">><跨度>t1<跨度><跨度 class="hljs-operator"><<跨度>跨風格<跨度class="hljs-operator">=<跨度>“顏色:# 0000 ff;”<跨度class="hljs-operator">><跨度><跨風格="color:#a71d5d">在哪裏<跨度><跨風格="color:#a71d5d">存在<跨度class="hljs-operator"><<跨度class="hljs-operator">/<跨度>跨度<跨度class="hljs-operator">><跨度>(<跨度class="hljs-operator"><<跨度>跨風格<跨度class="hljs-operator">=<跨度>“顏色:# 0000 ff;”<跨度class="hljs-operator">><跨風格="color:#a71d5d">選擇<跨度class="hljs-operator"><<跨度class="hljs-operator">/<跨度>跨度<跨度class="hljs-operator">><跨度>oid<跨度><跨度 class="hljs-operator"><<跨度>跨風格<跨度class="hljs-operator">=<跨度>“顏色:# 0000 ff;”<跨度class="hljs-operator">><跨度><跨風格="color:#a71d5d">從<跨度class="hljs-operator"><<跨度class="hljs-operator">/<跨度>跨度<跨度class="hljs-operator">><跨度>returned_orders<跨度><跨度 class="hljs-operator"><<跨度>跨風格<跨度class="hljs-operator">=<跨度>“顏色:# 0000 ff;”<跨度class="hljs-operator">><跨度><跨風格="color:#a71d5d">在哪裏<跨度class="hljs-operator"><<跨度class="hljs-operator">/<跨度>跨度<跨度class="hljs-operator">><跨度>t1.oid<跨度class="hljs-operator">=<跨度>oid)<跨度><跨度 class="hljs-operator"><<跨度>跨風格<跨度class="hljs-operator">=<跨度>“顏色:# 339966;”<跨度class="hljs-operator">><跨度class="hljs-operator"><<跨度>我<跨度class="hljs-operator">><跨風格="color:#408080;font-style:italic">——示例3 < / i > < / span ><跨度><跨度>刪除<跨度><跨風格="color:#a71d5d">從<跨度>事件<跨度><跨度 class="hljs-operator"><<跨度>跨風格<跨度class="hljs-operator">=<跨度>“顏色:# 0000 ff;”<跨度class="hljs-operator">><跨風格="color:#a71d5d">在哪裏<跨度class="hljs-operator"><<跨度class="hljs-operator">/<跨度>跨度<跨度class="hljs-operator">><跨度>類別<跨度class="hljs-operator"><<跨度>跨風格<跨度class="hljs-operator">=<跨度>“顏色:# 0000 ff;”<跨度class="hljs-operator">><跨風格="color:#a71d5d">不<跨度><跨風格="color:#a71d5d">在<跨度class="hljs-operator"><<跨度class="hljs-operator">/<跨度>跨度<跨度class="hljs-operator">><跨度>(<跨度class="hljs-operator"><<跨度>跨風格<跨度class="hljs-operator">=<跨度>“顏色:# 0000 ff;”<跨度class="hljs-operator">><跨風格="color:#a71d5d">選擇<跨度class="hljs-operator"><<跨度class="hljs-operator">/<跨度>跨度<跨度class="hljs-operator">><跨度>類別<跨度><跨度 class="hljs-operator"><<跨度>跨風格<跨度class="hljs-operator">=<跨度>“顏色:# 0000 ff;”<跨度class="hljs-operator">><跨度><跨風格="color:#a71d5d">從<跨度class="hljs-operator"><<跨度class="hljs-operator">/<跨度>跨度<跨度class="hljs-operator">><跨度>events2<跨度><跨度 class="hljs-operator"><<跨度>跨風格<跨度class="hljs-operator">=<跨度>“顏色:# 0000 ff;”<跨度class="hljs-operator">><跨度><跨風格="color:#a71d5d">在哪裏<跨度class="hljs-operator"><<跨度class="hljs-operator">/<跨度>跨度<跨度class="hljs-operator">><跨度><跨風格="color:#0086b3">日期<跨度><跨度 class="hljs-operator">><跨度><跨度 class="hljs-operator"><<跨度>跨風格<跨度class="hljs-operator">=<跨度>"顏色:# ff0000;“<跨度class="hljs-operator">><跨風格="color:#183691">“2001-01-01”<跨度class="hljs-operator"><<跨度class="hljs-operator">/<跨度>跨度<跨度class="hljs-operator">><跨度>)
|
為進一步的信息更新和刪除命令,請參閱磚三角洲的文檔。
改善與磚使用優化命令讀取三角洲
除了這個版本的新特性我們投入巨資改善磚三角洲,包括努力提高性能和穩定性為優化命令:
- 優化命令現在盡快提交批次,在以前的版本中,這是最後執行。這提高了優化時間和性能。
- 我們減少了默認的並行優化運行的線程數量。這對大型表極大地提高優化性能。
- 磚5.0運行時加速優化寫道,避免不必要的排序數據在編寫一個分區表。
- 5.0磚開始運行時,優化ZORDER現在增量,不再需要重寫數據文件以前z值相同的列(s)。
我們已經改善了隔離級別為磚三角洲的查詢。任何查詢多個引用一個磚三角洲表(可利用等)將讀取相同的快照,即使有並發更新表。
最後,我們想指出改進查詢延遲小磚三角洲表(磚運行時的5.0發行說明。
結構化流——新特性
我們升級流源卡夫卡端到2.0.0版本,這是一個重要的裏程碑。磚現在支持kafka.isolation。水平從卡夫卡隻讀提交記錄主題寫使用事務生產商。
我們還包括基於新的Azure Blob存儲文件通知流源。而不是清單找到新的文件進行處理,這個流源,可以直接讀取文件事件通知來找到新的文件。這可以顯著降低上市成本結構化流查詢在Azure Blob存儲文件。
閱讀更多關於上述新特性和改進的完整列表包含在磚5.0運行時,指的是發行說明在以下位置:
我們建議所有客戶升級到磚5.0運行beplay体育app下载地址時利用這些新特性和性能優化。
