你好,
我試圖寫三角洲文件一些CSV數據。當我做
csv_dataframe.write.format .save(“δ”)(“/道路/ / table.delta”)
我:AnalysisException:
發現無效的字符(s)在",{}()\ n \ t = "的列名
模式。
抬頭一看一些文檔,我將以下設置所有表列映射模式為“name”不會導致這個錯誤:
spark.conf.set (“spark.databricks.delta.defaults.columnMapping.mode”、“名稱”)
運行此之前調用的寫(…)不工作,我得到同樣的錯誤。
我已經設法用SQL用TBLPROPERTIES CREATE TABLE語句如下所示:
創建表table_bronze_csv使用CSV選項(' / path / /數據。csv”、“頭”“真實”、“模式”“FAILFAST”);使用三角洲創建表table_bronze TBLPROPERTIES (“delta.columnMapping。模式”=“名稱”)作為SELECT * FROM table_bronze;
但正在尋找Python的方法。
謝謝
我可以保存它為三角洲文件。你需要指定minReaderVersion minWriterVersion。如。
spark_df.write.format(“δ”).mode .option (“delta.columnMapping(“覆蓋”)。模式”、“名稱”).option(“三角洲。minReaderVersion ', ' 2 ') .option(“三角洲。minWriterVersion ', ' 5 ') .save(“/道路/ /表”)