三角洲表分區目錄啟用列映射時

[Gary_Irick]

最近,我創建了一個表在Azure集群運行磚11.1運行時。“日期”列的表分區。我啟用列映射,如下:

ALTER TABLE}{模式。{table_name} TBLPROPERTIES (delta.columnMapping。模式”=“名稱”、“三角洲。minReaderVersion ' = ' 2 ', '三角洲。minWriterVersion ' = ' 5 ')

之前啟用列映射,包含三角洲的目錄表有預期的分區目錄:“日期= 2022-08-18”,“日期= 2022-08-19”,等等。

啟用列映射後,每次我做一個合並到那張桌子,我獲得較短的新創建的目錄名稱“5 k”,“Rw”、“碼”,等等。當我真空表,大部分的目錄是空的,但不刪除空目錄。我們經常合並到這個表,該表包含三角洲表結束了很多很多的空目錄。

我有兩個問題:

預計它將創建這些目錄的名字其他比預期的“日期= 2022-08-18”嗎?

有辦法使真空刪除空目錄嗎?

三角洲表我可以編寫代碼來遍曆目錄,刪除空目錄,但我寧願不碰那些目錄!這是磚來管理的,我不想介入。

提前感謝您可以提供的任何信息。

[Debayan]

你好,對於使用真空的刪除文件或目錄,你可以參考https://docs.m.eheci.com/delta/delta-utility.html remove-files-no-longer-referenced-by-a-delta-ta……

據我所知,日期將默認命名語法,可以重命名。

[Vidula_Khanna]

嗨@Gary Irick

@Debayan穆克吉反應回答你的問題嗎?如果是的,你會很高興它標記為最好,其他成員可以找到解決方案更快嗎?

我們很想聽到你的聲音。

謝謝!

[gongasxavi]

與我相同的發生。自啟用列映射,新記錄與隨機存儲在文件夾名稱而不是存儲分區的文件夾中

[Pete_Cotton]

同樣的問題也發生在我自啟用列映射。文件存儲在文件夾2隨機角色的名字(0 p, 3 h, BB)而不是load_date分區列的日期值(load_date = 2023-01-01, load_date = 2023-01-02)。

嚐試使用磚運行時的12.0但得到相同的結果在執行一個附加或合並操作。有誰能解決這個問題嗎?