我怎麼和火花dataframes指定列的數據類型嗎?

[Raie]

我正在做的事情:

spark_df = spark.createDataFrame (dfnew)

spark_df.write.saveAsTable(“違約。test_table”,指數= False,頭= True)

這個自動檢測數據類型和現在的工作。但是,如果數據類型不能檢測或檢測錯了嗎?主要是擔心雙打,int,長整型數字。

我測試了鑄件但它並不工作磚:

spark_df = spark.createDataFrame (dfnew.select (dfnew(年).cast (IntegerType)。as("年")))

有辦法養活DDL引發dataframe磚嗎?我應該不使用火花來創建表嗎?

[RKNutalapati]

嗨@Raie:它會造成更廣泛的數據幀數據類型例如長(Int /長整型數字)等。這取決於用例。如果您已經創建了一個表,想要覆蓋/附加數據,那麼您需要顯式地扮演每列的數據類型。

一種選擇是通過創建一個數據類和轉換DF DS

case類人(id: Int,名字:字符串)

dfnew.as[人]

[Hubert_Dudek1 · Accepted solution]

• 創建表之前和設置列類型(創建表……位置路徑(路徑)
• dataframe你需要有相應的數據類型,您可以使用語法,隻是你的語法是錯誤的,這是正確的語法的例子:

從pyspark.sql。從pyspark.sql進口IntegerType類型。功能導入* dfnew = spark.createDataFrame([(“2022”),(“2021”),(“2020”)],["年"])dfnew = dfnew。withColumn(“年”,上校(“年”).cast (IntegerType ()))

[Raie]

由於@Hubert杜德克我改變了語法和進口所有的數據類型和鑄造工作!