如何將列類型str迄今為止在sparksql格式不是yyyy-mm-dd ?

[semihcandoken]

我一個大型的csv文件導入到數據磚作為一個表。

我能在磚的筆記本上運行sql查詢。

在我的桌子,我有一個列包含日期信息在mm / dd / yyyy格式:

12/29/2015

12/30/2015等等……

進口這一列型磚str,而不是日期。迫使“時間戳”類型的表界麵沒有任何影響。

我怎麼能把這列類型日期在sql ?

我試著去做

從my_data_table選擇鑄造(arrival_date日期)

然而,這就要求str YYYY-mm-dd格式的列。我是mm / dd / yyyy格式如上所述。

選擇to_date(15/1/09)日期;

出於同樣的原因,不工作。

我能做些什麼來有一列的日期嗎?

SparkSQL真的不支持“更新”操作嗎?在這種情況下,我不能重新安排適合的格式字符串?我有什麼選擇嗎?

[JoeConley]

以下為我工作:

df。withColumn (“tx_date to_date (unix_timestamp(美元“日期”,“米/ dd / yyyy”) .cast(“時間戳”)))

[Bill_Chambers]

美元也to_date(“日期”,“格式”)工作。

[找她]

我試著上麵的字符串和解決的問題如下:

val df = sc.parallelize (Seq (“08-26-2016”)) .toDF (" Id ")

df.createOrReplaceTempView(表1)

val快速公車提供=火花。sql(“”“選擇from_unixtime (unix_timestamp (Id, '; '))從table1 new_format " " ")

bdf.printSchema

bdf.show

val bbdf = bdf.withColumn (“dt”、“new_format”.cast美元(“日期”))

bbdf.printSchema

bbdf.show

bbdf.select(年(dt)美元),告訴

[ShubhamGupta187]

@josephpconley會安全的把一個列包含空值嗎?