我有一些問題與創建dataframe日期列。我可以知道什麼是錯誤的嗎?
從pyspark。sql從pyspark.sql進口SparkSession。從pyspark.sql進口StructType類型。類型進口DateType FloatType火花= SparkSession.builder.appName (DataFrame) .getOrCreate()模式= StructType() \閥門(“日期”,DateType(),真的)\閥門(“A”, FloatType(),真的)\閥門(“B”, FloatType(),真的)df = spark.read.format (csv)。選項(“標題”,真正的)。選項(“dateFormat”、“MM / dd / yyyy”) . schema(方案).load (test.csv) df.show ()
這是我得到的誤差:
org.apache.spark。SparkException:工作階段失敗而終止:任務0階段158.0失敗了4次,最近的失敗:在舞台上失去了任務0.3 158.0 (TID 1823)(10.237.208.145執行人5):org.apache.spark。SparkUpgradeException: [INCONSISTENT_BEHAVIOR_CROSS_VERSION。PARSE_DATETIME_BY_NEW_PARSER]你可能得到不同的結果由於升級到火花> = 3.0: