三角洲主住表錯誤

[甜菜]

我麵臨一個錯誤在三角洲住表我想數據透視表。錯誤如下:

和複製的代碼錯誤如下:

熊貓作為pd導入導入pyspark.sql。函數作為F pdf = pd。DataFrame ({“A”(“foo”、“foo”、“foo”、“foo”、“foo”、“酒吧”,“酒吧”,“酒吧”,“酒吧”,“B”:[“一”、“一”、“一”、“兩個”,“兩個”,“一”、“一”、“兩個”,“兩個”)、“C”:[“小”、“大”、“大”、“小”、“小”、“大”、“小”、“小”、“大”、“D”: [1、2、2、3、3、4、5、6、7],“E”: (2、4、5、5、6、6、8、9, 9]}) df = spark.createDataFrame (pdf) df.write.mode(覆蓋).saveAsTable (test_table)導入dlt @dlt。視圖def test_table():返回spark.read.table @dlt (“test_table”)。表def test_table_pivoted():返回(spark.table (LIVE.test_table) .groupBy (A, B) .pivot (“C”) .agg (F.first (' D ')))

有人知道為什麼我不能數據透視表在三角洲住表管道嗎?

[ccary]

你可以嚐試在列名作為第二個參數傳遞給主函數?

.pivot (“C”(“小”,“大”))

[甜菜]

你好,這隻會使查詢運行得更快,謝謝你的嚐試。我將在下麵文章我發現這個問題的解決方案。

[Kaniz]

嗨@Miguel天使費爾南德斯,我們一直沒有收到你的最後回應@Chris卡裏,我檢查,看看他的建議幫助你。否則,如果你有任何解決方案,請與社區分享,因為它可以幫助別人。

[甜菜 · Accepted solution]

這個解決方案似乎添加以下配置三角洲住表管道:

spark.databricks.delta.schema.autoMerge.enabled:真

它允許“模式演化”管道和解決問題。