取消
顯示的結果
而不是尋找
你的意思是:

快速知道zordered三角洲表

jstatic
新的貢獻者二世

你好,

我創建了一個三角洲表表使用SQL和指定分區和zorder策略。然後我首次加載數據到它通過寫δ的添加方式和另存為表。但是,我不知道來驗證其zordering三角洲表中,看不到任何顯著的曆史。有一個快速的命令,確認現有表zordered zordered是以及它如何?添加一些更多的信息:

我尋找的是知道任何版本的表的狀態。如果我把一些當前的信息表應該告訴我表分區和某某的zordered這樣和任何其他信息。這是我所做的:

  1. 我創建了定義的空白表和分區和zordering SQL
如果不存在mydb創建表。mybronze(設備名稱字符串,tagName字符串,字符串的deviceID,成功布爾數據類型字符串,時間戳戳,值字符串,registerId字符串,字符串描述,INT, INT, INT)用δ分區(年、月、日)位置“abfss: / /(電子郵件保護)/ path1 / path2 /表”;ALTER TABLE mydb。mybronze TBLPROPERTIES (delta.autoOptimize。delta.autoOptimize optimizeWrite = true。autoCompact = true);優化mydb。tagName mybronze ZORDER由設備名稱;

然後我在Python中首次加載到表:

df.write.format(“δ”).mode(“追加”).saveAsTable (f“mydb.mybronze”)

所以我怎麼知道它成功zordered數據?或者我需要運行一個優化命令zordering後第一個加載?我沒有看到這條信息後曆史上最初的負載。

1接受解決方案

接受的解決方案

User16763506477
貢獻者三世

如果沒有數據行10和11不會有任何影響。我假設(1 - 5行)創建一個空表,但實際的負載發生當你df。寫操作。

也delta.autoOptimize。autoCompact不會觸發下麵的z值請醫生。

https://docs.m.eheci.com/delta/optimizations/auto-optimize.html does-auto-optimize-z-order-files

在原帖子查看解決方案

5回複5

werners1
尊敬的貢獻者三世

它應該顯示表中的曆史雖然作為一個優化操作。

你得到以下參數:

  • 謂語:
  • zOrderBy:
  • batchId:
  • 汽車:

jstatic
新的貢獻者二世

所以我編輯我的問題有點顯示一些代碼我跑。我想在第一次加載它應該做zorder和優化基於表定義和自動設置。我知道後,我明確地做一個優化(冪等)和zorder(非冪等)將曆史日誌表中。但在初始加載沒有告訴我如果已經zordered這個表。就好了,可以告訴我有關表的當前狀態對其zordering例如如果它存在。至於現在,我不知道在最初加載任何優化或zordering是否執行。

jstatic
新的貢獻者二世

所以我編輯我的問題有點顯示一些代碼我跑。我想在第一次加載它應該做zorder和優化基於表定義和自動設置。我知道後,我明確地做一個優化(冪等)和zorder(非冪等)將曆史日誌表中。但在初始加載沒有告訴我如果已經zordered這個表。就好了,可以告訴我有關表的當前狀態對其zordering例如如果它存在。至於現在,我不知道在最初加載任何優化或zordering是否執行。

werners1
尊敬的貢獻者三世

好的我明白了。

順便說一句,我完全同意。現在我們沒有,但它的確很好。

這可能是如何實現是另一個問題,因為一個表可以ZORDERED幾個星期甚至幾個月前。

我猜磚正在統計數據/信息。

歡迎來到磚社區:讓學習、網絡和一起慶祝

加入我們的快速增長的數據專業人員和專家的80 k +社區成員,準備發現,幫助和合作而做出有意義的聯係。

點擊在這裏注冊今天,加入!

參與令人興奮的技術討論,加入一個組與你的同事和滿足我們的成員。

Baidu
map