取消
顯示的結果
而不是尋找
你的意思是:

時間戳數據磚被轉換成不同的時區

Dinu2
新的貢獻者三世

時間戳列從源數據庫中提取使用jdbc的閱讀越來越轉化為不同的時區和不匹配源時間戳。有人建議我們如何能相同的時間戳數據像源數據?

7回複7

werners1
尊敬的貢獻者三世

你能檢查這個嗎?

Dinu2
新的貢獻者三世

謝謝你,如果我保持集群時區“UTC”是將所有的UTC時間戳。我看是讓時間戳字段值在dataframe源相同。你能請讓我知道如果你有任何建議嗎?

匿名
不適用

@Werner Stinckens:你想把這個成功嗎?:slightly_smiling_face:

匿名
不適用

@Dinu Sukumara:我承擔你的問題

如果你想保存時間戳值完全在源數據庫,沒有任何時區轉換,可以遵循以下步驟:

  1. 設置集群時區:保持集群時區UTC,正如你所提到的。
  2. 調整會話時區:讀取數據從源數據庫之前,您可以調整會話時區的時區磚相匹配的源數據。
spark.conf.set (“spark.sql.session。時區”、“< source_timezone >”)

3所示。讀取數據從源:使用JDBC閱讀功能磚從源數據庫提取數據。

df = spark.read.format (jdbc)。選項(“url”,“< jdbc_url >”)。選項(“數據表”、“< table_name > ") .load ()

歡迎來到磚社區:讓學習、網絡和一起慶祝

加入我們的快速增長的數據專業人員和專家的80 k +社區成員,準備發現,幫助和合作而做出有意義的聯係。

點擊在這裏注冊今天,加入!

參與令人興奮的技術討論,加入一個組與你的同事和滿足我們的成員。

Baidu
map