為什麼我得到的io。IOException:文件已經存在的saveAsTable覆蓋模式?

[MarcLimotte]

我有一個相當小的,簡單的DataFrame,月:

month.schema

org.apache.spark.sql.types。StructType = StructType (StructField(月,DateType,真的),StructField (real_month TimestampType,真的),StructField (month_millis LongType,真的)

本月Dataframe來源於一個Dataframe最初創建從一個來自sc.parallelize抽樣(…)。

我試著將其保存為一個表:

month.write.mode (SaveMode.Overwrite) .saveAsTable (“month_x2”)

我得到一個例外。問題的根源似乎(也參見下麵的全部加亮):

引起的:java。IOException:文件已經存在:/ databricks-prod-storage-virginia dbc - 44061 - e6b - 9 - dd3/0 / user /蜂巢/倉庫/ month_x2 /部分- r - 00002 - 9858 - e235 - 1 - c6c - 4276 - 800 d - 18 - c8a760a416.gz.parquet

我重新啟動集群,重新筆記本,每次都得到相同的結果。我用覆蓋模式(雖然我認為non-overwrite產生不同的錯誤)。同時,我得到這個錯誤,即使我改變表名(即第一saveAsTable甚至呼籲一個給定的名稱)。

錯誤是在附加文件中

[MarcLimotte]

順便說一句,我在火花1.4磚集群。

[User16765128951]

你好,

如果你運行:

dbutils.fs。rm (“dbfs: / user /蜂巢/倉庫/ month_x2 /”,真的)

之前你做的

saveAsTable

你想,你的命令應該執行。

- v

[MarcLimotte]

現在看起來像我期望,即使沒有做明確dbutils.fs.rm (…)。必須有一些斷斷續續的問題。

[MattHobby]

我一直經曆著同樣的問題——它不會發生,我認為它是基於一個S3同步問題?我們知道更多細節或修複嗎?