我有三角洲生活表加載和轉換數據的管道。目前我有一個問題,模式推斷DLT不匹配實際的表的模式。通過groupby生成表。主操作如下:
gb = (df。groupBy ([“unique_trip_id”、“信號”,“價值”]).count ()) gb = (gb.groupBy ([“unique_trip_id”、“價值”]).pivot .sum(“信號”)(“計數”).fillna (0))
我得到以下錯誤消息:
org.apache.spark.sql。AnalysisException:模式匹配檢測到寫作時三角洲表(表ID: fdecc1fa - fadd - 4779 bc43 d93d87c9cc9e)。
要啟用模式遷移使用DataFrameWriter或DataStreamWriter,請設置:
”。選項(“mergeSchema”,“真正的”)”。
其他操作,設置會話配置
spark.databricks.delta.schema.autoMerge.enabled“真正的”。看文檔
具體的操作細節。
我的問題是我怎樣才能在我的筆記本設置這個選項為三角洲住表嗎?還是我做錯了什麼導致失敗的模式推理嗎?
謝謝你的幫助。
