數據類型不匹配,而從服務器讀取數據的sql數據磚

[Teja07]

Azure sql server數據讀入數據磚通過JDBC連接(火花版本2. x)和存儲到Gen1。現在客戶想從Gen1 Gen2遷移數據。當我們跑相同的工作,從Azure Sql服務器讀取數據通過JDBC磚(火花版本升級從2。x 3.2)源端日期類型列填充字符串。除了火花版本升級沒有技術或功能改變或沒有源模式變化。無法找到問題的根源。誰能幫我找到確切的問題嗎?

[werners1]

火花2。x和火花3。x處理日期不同。

運行火花2。在火花3 x腳本。x很可能有問題。

請檢查火花3遷移指南:

https://spark.apache.org/docs/3.0.2/sql-migration-guide.html upgrading-from-spark-sql-24-to-30

[Teja07]

@Werner Stinckens,以上鏈接是廣泛的和非常有幫助,但是我沒有得到確切的細節。你能說的具體些。

[匿名]

嗨@Mani Teja G

謝謝你的問題!幫助你更好的,請花一些時間來檢查答案,讓我知道它是否最適合您的需要。

請幫助我們選擇最好的解決方案通過點擊“選擇最佳”如果它。

您的反饋將幫助我們確保我們提供最好的服務給你。謝謝你！

[werners1 · Accepted solution]

遠東有火花選項來啟用“舊”日期處理。

你可以設置spark.sql.legacy。timeParserPolicy火花3.0之前遺留恢複行為。

坦率地說,我不喜歡這種方法如火花3給你很多有趣的日期功能。

所以你能做的就是,首先確定你有日期列,並顯式地把他們與to_date日期功能。