取消
顯示的結果
而不是尋找
你的意思是:

三角洲生活表不能正常推斷表模式。

BenLambert
新的貢獻者三世

我有三角洲生活表加載和轉換數據的管道。目前我有一個問題,模式推斷DLT不匹配實際的表的模式。通過groupby生成表。主操作如下:

gb = (df。groupBy ([“unique_trip_id”、“信號”,“價值”]).count ()) gb = (gb.groupBy ([“unique_trip_id”、“價值”]).pivot .sum(“信號”)(“計數”).fillna (0))

我得到以下錯誤消息:

org.apache.spark.sql。AnalysisException:模式匹配檢測到寫作時三角洲表(表ID: fdecc1fa - fadd - 4779 bc43 d93d87c9cc9e)。

要啟用模式遷移使用DataFrameWriter或DataStreamWriter,請設置:

”。選項(“mergeSchema”,“真正的”)”。

其他操作,設置會話配置

spark.databricks.delta.schema.autoMerge.enabled“真正的”。看文檔

具體的操作細節。

我的問題是我怎樣才能在我的筆記本設置這個選項為三角洲住表嗎?還是我做錯了什麼導致失敗的模式推理嗎?

謝謝你的幫助。

1接受解決方案

接受的解決方案

BenLambert
新的貢獻者三世

我能夠繞過這個通過指定表中的表模式裝飾。

在原帖子查看解決方案

2回答2

BenLambert
新的貢獻者三世

我能夠繞過這個通過指定表中的表模式裝飾。

謝謝你的回複。我將你的反應標記為最好。

歡迎來到磚社區:讓學習、網絡和一起慶祝

加入我們的快速增長的數據專業人員和專家的80 k +社區成員,準備發現,幫助和合作而做出有意義的聯係。

點擊在這裏注冊今天,加入!

參與令人興奮的技術討論,加入一個組與你的同事和滿足我們的成員。

Baidu
map