時間戳數據磚被轉換成不同的時區

[Dinu2]

時間戳列從源數據庫中提取使用jdbc的閱讀越來越轉化為不同的時區和不匹配源時間戳。有人建議我們如何能相同的時間戳數據像源數據?

[werners1]

你能檢查這個嗎?

[Dinu2]

謝謝你,如果我保持集群時區“UTC”是將所有的UTC時間戳。我看是讓時間戳字段值在dataframe源相同。你能請讓我知道如果你有任何建議嗎?

[匿名]

@Werner Stinckens:你想把這個成功嗎?

[匿名]

@Dinu Sukumara:我承擔你的問題

如果你想保存時間戳值完全在源數據庫,沒有任何時區轉換,可以遵循以下步驟:

1. 設置集群時區:保持集群時區UTC,正如你所提到的。
2. 調整會話時區:讀取數據從源數據庫之前,您可以調整會話時區的時區磚相匹配的源數據。

spark.conf.set (“spark.sql.session。時區”、“< source_timezone >”)

3所示。讀取數據從源:使用JDBC閱讀功能磚從源數據庫提取數據。

df = spark.read.format (jdbc)。選項(“url”,“< jdbc_url >”)。選項(“數據表”、“< table_name > ") .load ()