火花3 AQE和緩存

[pantelis_mare]

大家好,

我最近發現(艱難),當一個查詢計劃使用緩存數據,AQE不生效。結果是,你鬆散超級酷的特性動態分區合並(沒有更多的自定義洗牌讀者在DAG)。

有辦法結合?如果不是,你們知道什麼是規則或有鏈接我可以讀嗎?

我的理解測試後,如果緩存dataframe在sql查詢中,然後你沒有自適應查詢計劃在整個查詢。那是正確的嗎?

歡呼,

Pantelis

[User16763506477]

嗨@Pantelis Maroudis

你有查詢樣例測試呢?AQE踢在我嚐試用一個簡單的聚合查詢(我。e組的)在一個緩存表。

[pantelis_mare]

你好@Gaurav Rupnar

下麵的代碼片段複製我的聲明。

查看查詢計劃的變化,當你評論res dataframe緩存()

spark.conf.set (“spark.sql.shuffle。分區",2000)spark.conf.set (“spark.sql。autoBroadcastJoinThreshold”, 1) val factData = Seq (1, 2, 3, 4, 5, 6, 7, 8, 9, 10) .toDF(“價值”)val dimData = Seq (1、2、3) .toDF val res = factData(“價值”)。加入(dimData Seq(“價值”))res.cache () res.write.format .mode(“等待”)(“追加”).save () res.unpersist ()

[jose_gonzalez]

嗨@Pantelis Maroudis,

你是否檢查了物理查詢計劃?你是否檢查了SQL子選項卡在UI火花?它將幫助你更好地理解正在發生的事情。