我想創建三角洲住表放置在azure blob的json文件。json文件包含空白列名稱而不是重命名我試著“columnMapping”表屬性讓我創建的表空間,但“日期”列的列分區創建並沒有像預期的那樣意味著它應該像“日期= 2022-01-01”相反,它創建分區創建群目錄“AA”、“AB”、“氯”……等和拚花文件裏麵。
設置“spark.sql.legacy。timeParserPolicy”=“遺留”創建或刷新流住表abcdata使用δTBLPROPERTIES(“質量”=“青銅”、“三角洲。minReaderVersion ' = ' 2 ', '三角洲。minWriterVersion ' = ' 5 ', ' delta.columnMapping。模式”=“名字”)位置“dbfs: / mnt / abcdata”作為SELECT *, input_file_name()從cloud_files source_file_name (“dbfs: / json數據”,“json”(“cloudFiles地圖。inferColumnTypes”、“真”、“cloudFiles。rescuedDataColumn”、“_rescued_data”、“cloudFiles。schemaEvolutionMode”、“救援”、“多行”、“真正的”))創建或刷新生活表“abcdatafinal”使用δTBLPROPERTIES(“質量”=“銀”、“三角洲。minReaderVersion ' = ' 2 ', '三角洲。minWriterVersion ' = ' 5 ', ' delta.columnMapping。模式”=“名字”)位置“dbfs: / mnt / abcdatafinal”作為select *, to_date (to_timestamp (from_unixtime (unix_timestamp(時間戳,“MM / dd / yyyy hh: MM: ss。SSS aa), yyyy-MM-dd HH: mm: ss)))從live.abcdata日期;
我做錯了嗎?
還第一個直播表不是分區但上麵的表路徑包含目錄就像我說的。
提前謝謝!
