取消
顯示的結果
而不是尋找
你的意思是:

日期模式問題pyspark dataframe創造

ckwan48
新的貢獻者三世

我有一些問題與創建dataframe日期列。我可以知道什麼是錯誤的嗎?

從pyspark。sql從pyspark.sql進口SparkSession。從pyspark.sql進口StructType類型。類型進口DateType FloatType火花= SparkSession.builder.appName (DataFrame) .getOrCreate()模式= StructType() \閥門(“日期”,DateType(),真的)\閥門(“A”, FloatType(),真的)\閥門(“B”, FloatType(),真的)df = spark.read.format (csv)。選項(“標題”,真正的)。選項(“dateFormat”、“MM / dd / yyyy”) . schema(方案).load (test.csv) df.show ()

這是我得到的誤差:

org.apache.spark。SparkException:工作階段失敗而終止:任務0階段158.0失敗了4次,最近的失敗:在舞台上失去了任務0.3 158.0 (TID 1823)(10.237.208.145執行人5):org.apache.spark。SparkUpgradeException: [INCONSISTENT_BEHAVIOR_CROSS_VERSION。PARSE_DATETIME_BY_NEW_PARSER]你可能得到不同的結果由於升級到火花> = 3.0:

1接受解決方案

接受的解決方案

Debayan
尊敬的貢獻者三世
尊敬的貢獻者三世

嗨@Kevin金,你能試著升級引發版本嗎?另外,請提供完整的錯誤日誌。

在原帖子查看解決方案

4回複4

Debayan
尊敬的貢獻者三世
尊敬的貢獻者三世

嗨@Kevin金,你能試著升級引發版本嗎?另外,請提供完整的錯誤日誌。

Kaniz
社區經理
社區經理

嗨@Kevin金,我們一直沒有收到你自從上次反應@Debayan穆克吉,我檢查,看看他的建議幫助你。

否則,如果你有任何解決方案,請與社區分享,因為它可以幫助別人。

同時,請別忘了點擊“選擇最佳”按鈕時提供的信息幫助解決你的問題。

ckwan48
新的貢獻者三世

嗨@Kaniz開羅,

我真的改變了日期格式' M / d / Y ',它沒有拋出任何錯誤。我發現在我的csv文件日期像“3/1/2022”。那是問題嗎?但是一些日期也像“12/1/2022。所以我有點困惑。

Kaniz
社區經理
社區經理

嗨@Kevin金,請回複@Debayan慕克吉在這個線程的反應?另外,請提供完整的錯誤日誌。

歡迎來到磚社區:讓學習、網絡和一起慶祝

加入我們的快速增長的數據專業人員和專家的80 k +社區成員,準備發現,幫助和合作而做出有意義的聯係。

點擊在這裏注冊今天,加入!

參與令人興奮的技術討論,加入一個組與你的同事和滿足我們的成員。

Baidu
map