無效的數據加載到亞馬遜紅移時的時間戳

學習如何解決一個無效的時間戳錯誤數據加載到AWS紅移。

去年發表在:2022年5月31日

問題

當你使用spark-redshift寫操作時間戳數據保存到亞馬遜紅移,就可能發生以下錯誤,如果時間戳數據包括時區信息。

錯誤(代碼1206),數據加載到紅移:“無效的時間戳格式或價值(YYYY-MM-DD HH24: MI: SSOF)”

紅移表使用時間戳數據類型不存儲時區信息。

包括選擇.options (“extracopyoptions”、“TIMEFORMAT汽車”)如以下所示Scala代碼:

% scala df。寫.format (com.databricks.spark.redshift) .options (…) .options (“extracopyoptions”、“TIMEFORMAT汽車”).mode(“追加”).save ()

如果您指定汽車的論點DATEFORMAT或TIMEFORMAT亞馬遜紅移參數,自動識別和轉換日期格式或時間格式在你的源數據。