工作與三角洲湖表的曆史

檢索三角洲曆史表

您可以檢索信息,包括操作、用戶和時間戳對於每個寫一個三角洲表通過運行曆史命令。倒序返回的操作。

表曆史保留是由表設置delta.logRetentionDuration,這是默認30天。

描述曆史' /數據/事件/ '——得到的全部曆史表描述曆史δ。' /數據/事件/ '描述曆史' /數據/事件/ '限製1——得到最後一個操作描述曆史eventsTable

火花的SQL語法細節,請參閱描述曆史。

看到三角洲湖API文檔Scala / Java / Python語法細節。

數據瀏覽提供了一個可視化視圖的三角洲的詳細表信息和曆史表。除了表模式和樣本數據,你可以點擊曆史選項卡,查看曆史顯示的表描述曆史。

曆史模式

的輸出曆史操作有以下列。

+ - - - - - - - - - - - - - - - - - - - - - - - - - - + - - - - - - - - - - - - - - - - + - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - + + - - - - - - - - - - - - - - - - - - - - - - + - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - + - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - | + | |版本時間戳userId |操作用戶名| | operationParameters | |工作筆記本| clusterId | readVersion | isolationLevel | isBlindAppend | operationMetrics | + - - - - - - - - - - - - - - - - - - - - - - - - - - + - - - - - - - - - - - - - - - - + - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - + + - - - - - - - - - - - - - - - - - - - - - - + - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - + - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - + | 5 | 2019-07-29 14:07:47 | # # # # # # | | |刪除(謂詞- > [" (…零| | # # # # # # | | 4 | WriteSerializable假| | (numTotalRows - >…| | 4 | 2019-07-29 14:07:41 | # # # # # # | | |更新(謂詞- > (id…零| | # # # # # # | | 3 | WriteSerializable假| | (numTotalRows - >…| | 3 | 2019-07-29 14:07:29 | # # # # # # | | |刪除(謂詞- > [" (…零| | # # # # # # | | 2 | WriteSerializable假| | (numTotalRows - >…| | 2 | 2019-07-29 14:06:56 | # # # # # # | | |更新(謂詞- > (id…零| | # # # # # # | | 1 | WriteSerializable假| | (numTotalRows - >…| | 1 | 2019-07-29 14:04:31 | # # # # # # | | |刪除(謂詞- > [" (…零| | # # # # # # | 0 | | WriteSerializable假| | (numTotalRows - >…| | 0 | 2019-07-29 14:01:40 | # # # # # # | | |寫[模式- > ErrorIfE……|null| ###| ###| null|WriteSerializable| true|[numFiles -> 2, n...| +-------+-------------------+------+--------+---------+--------------------+----+--------+---------+-----------+-----------------+-------------+--------------------+

操作指標的鑰匙

的曆史操作返回操作指標的集合operationMetrics列映射。

下麵的表列出了地圖鍵定義的操作。

三角洲湖時間旅行是什麼?

三角洲湖時間旅行支持查詢以前的表版本基於時間戳或表版本(在事務日誌記錄)。您可以使用時間旅行應用程序如以下:

• 重新創建分析、報告、或輸出(例如,機器學習模型)的輸出。這對調試或審計可能是有用的,尤其是在監管的行業。

• 編寫複雜的時態查詢。

• 在您的數據修複錯誤。

• 為一組提供快照隔離快速變化的表的查詢。

三角洲時間旅行的語法

你查詢一個增量表時間旅行表名後增加一個條款規範。

• timestamp_expression可以是任何一個:

  • 2018 - 10 - 18 t22:15:12.013z,也就是說,可以把一個字符串,該字符串轉換為一個時間戳

  • 鑄造(' 2018-10-1813:36:32c '作為時間戳)

  • “2018-10-18”,也就是說,一個日期字符串

  • current_timestamp ()- - - - - -時間間隔12小時

  • date_sub(當前日期(),1)

  • 其他表達式,也可以把一個時間戳

• 版本是一個長期的價值,可以獲得輸出的嗎描述曆史table_spec。

既不timestamp_expression也不版本子查詢。

隻接受日期或時間戳字符串。例如,“2019-01-01”和“2019 - 01 - 01 t00:00:00.000z”。看下麵的代碼例如語法:

選擇*從people10m時間戳作為的2018 - 10 - 18 t22:15:12.013z選擇*從δ。' /tmp/δ/people10m”版本作為的123年

df1=火花。讀。選項(“timestampAsOf”,“2019-01-01”)。表(“people10m”)df2=火花。讀。選項(“versionAsOf”,123年)。負載(“/ tmp /δ/ people10m”)

您還可以使用@語法來指定時間戳或版本的表名。必須在時間戳yyyyMMddHHmmssSSS格式。您可以指定一個版本@通過將一個v的版本。看下麵的代碼例如語法:

選擇*從people10m@20190101000000000選擇*從people10m@v123

火花。讀。表(“people10m@20190101000000000”)火花。讀。表(“people10m@v123”)火花。讀。負載(“/ tmp /δ/ people10m@20190101000000000”)火花。讀。負載(“/ tmp /δ/ people10m@v123”)

事務日誌檢查點是什麼?

三角洲湖表版本為JSON文件中的記錄_delta_log目錄,這是存儲在表的數據。優化查詢、檢查站三角洲湖總量表版本鋪檢查點文件,防止需要閱讀所有的JSON版本表的曆史。磚優化檢查點頻率數據的大小和工作負載。用戶應該不需要直接與檢查點。檢查點頻率可隨時更改,不另行通知。

配置數據保留時間旅行的查詢

查詢之前的表格版本,你必須保留這兩個的日誌和數據文件的版本。

數據文件被刪除時真空對一個表運行。三角洲湖管理日誌文件刪除後自動檢查點表版本。

因為大多數三角洲表真空定期與他們,應該尊重保留閾值時間點查詢真空默認情況下,這是7天。

為了增加數據保留閾值δ表,您必須配置以下表屬性:

• delta.logRetentionDuration=“間隔<時間>”:控製表的曆史保存多久。默認值是時間間隔30.天。

• delta.deletedFileRetentionDuration=“間隔<時間>”:確定閾值真空用來刪除數據文件不再當前表中引用的版本。默認值是時間間隔7天。

您可以指定δ在表創建或設置它們的屬性改變表聲明。看到三角洲表屬性引用。

恢複一個增量表的狀態

你可以恢複一個增量表通過使用其先前的狀態恢複命令。δ表內部維護曆史版本的表,使它恢複到早期狀態。之前版本對應狀態或時間戳的早些時候的狀態創建支持的選項恢複命令。

恢複表db。target_table來版本作為的<版本>恢複表δ。' /數據/目標/ '來時間戳作為的<時間戳>

語法細節,請參閱恢複。

恢複指標

恢複報告以下指標作為一個單獨的行DataFrame操作完成後:

• table_size_after_restore:恢複後表的大小。

• num_of_files_after_restore:表中的文件恢複後的數量。

• num_removed_files:文件數量從表中刪除(邏輯刪除)。

• num_restored_files:由於回滾文件數量恢複。

• removed_files_size:總大小字節的文件從表中刪除。

• restored_files_size:總大小字節的文件恢複。

  

使用三角洲湖時間旅行的例子

• 為用戶解決意外刪除一個表111年:

  插入成my_table選擇*從my_table時間戳作為的date_sub(當前日期(),1)在哪裏用戶標識=111年

• 解決意外錯誤更新一個表:

  合並成my_table目標使用my_table時間戳作為的date_sub(當前日期(),1)源在源。用戶標識=目標。用戶標識當匹配然後更新集*

• 查詢添加新客戶的數量在過去的一周。beplay体育app下载地址

  選擇數(截然不同的用戶標識)從my_table- - - - - -(選擇數(截然不同的用戶標識)從my_table時間戳作為的date_sub(當前日期(),7))

我怎麼找到最後一個提交的版本火花會話嗎?

得到最後的版本號提交當前寫的SparkSession在所有線程和所有表、查詢SQL配置spark.databricks.delta.lastCommitVersionInSession。

集火花。磚。δ。lastCommitVersionInSession

火花。相依。得到(“spark.databricks.delta.lastCommitVersionInSession”)

火花。相依。得到(“spark.databricks.delta.lastCommitVersionInSession”)

如果沒有提交的SparkSession、查詢返回一個空值的關鍵。