你好,
當閱讀三角洲湖文件(由自動加載程序)這段代碼:df = (
spark.readStream
.format (“cloudFiles”)
.option (“cloudFiles。格式”、“δ”)
.option (“cloudFiles。schemaLocation“f”{silver_path} / _checkpoint”)
.load (bronze_path)
)
收到這個錯誤:
AnalysisException:檢測到不兼容的格式。三角洲的事務日誌發現“/ mnt / f1、f2 / _delta_log’,但你正試圖從“/ mnt / f1、f2 /”使用格式(“cloudFiles”)。您必須使用的格式(“δ”)當閱讀和寫作δ表。禁用此檢查,設置spark.databricks.delta.formatCheck.enabled = false來了解更多關於三角洲……
什麼是正確的閱讀方式三角洲湖文件自動加載器進行進一步處理(如. .從銅層銀)?
謝謝你!
你可以檢查你自己:
https://learn.microsoft.com/en-us/azure/databricks/ingestion/auto-loader/
“自動加載器可以攝取JSON、CSV、拚花,AVRO,獸人,文本,和BINARYFILE文件格式”
它是有意義的。自動裝卸機是一種工具來識別你所擁有的已經處理過的。
三角洲湖不僅僅是一些文件,它有一個事務日誌。