三角洲表分區目錄啟用列映射時

[Gary_Irick]

最近,我創建了一個表在Azure集群運行磚11.1運行時。“日期”列的表分區。我啟用列映射,如下:

ALTER TABLE}{模式。{table_name} TBLPROPERTIES (delta.columnMapping。模式”=“名稱”、“三角洲。minReaderVersion ' = ' 2 ', '三角洲。minWriterVersion ' = ' 5 ')

之前啟用列映射,包含三角洲的目錄表有預期的分區目錄:“日期= 2022-08-18”,“日期= 2022-08-19”,等等。

啟用列映射後,每次我做一個合並到那張桌子,我獲得較短的新創建的目錄名稱“5 k”,“Rw”、“碼”,等等。當我真空表,大部分的目錄是空的,但不刪除空目錄。我們經常合並到這個表,該表包含三角洲表結束了很多很多的空目錄。

我有兩個問題:

預計它將創建這些目錄的名字其他比預期的“日期= 2022-08-18”嗎?

有辦法使真空刪除空目錄嗎?

三角洲表我可以編寫代碼來遍曆目錄,刪除空目錄,但我寧願不碰那些目錄!這是磚來管理的,我不想介入。

提前感謝您可以提供的任何信息。

[aleks1601]

有至少一個解釋為什麼這是發生的,以及它是否會影響性能嗎?

[南]

看到了同樣的行為。等待一些解釋。

[Tharun-Kumar]

@Gary_Irick@Pete_Cotton
這是預期。啟用列映射使隨機文件前綴,消除了使用Hive-style探索數據分區的能力。

這也是記錄在這裏https://docs.m.eheci.com/delta/delta-column-mapping.html: ~:文本=啟用% 20列% 20映射% 20艾爾……。