Delta文件分區

[thushar]

有一個函數來創建文件分區,分區創建基於元數據(getPartitionColumns)保持。表中有兩個列都提到分區列,說“團隊”和“專業”。

在執行分區列內沒有適當取代datafrme下麵的編寫方法和得到一個錯誤

AnalysisException:分區列的“團隊”,“專業”中沒有模式

但這些列已經在數據幀。知道如何解決這個問題嗎?

似乎是價值“團隊”,“專業”被認為是單一列而不是單獨的列。

def dfWrite (df、定位路徑表名):

partitionColumn = getPartitionColumns(表)

#“團隊”,“專業”

df.write。選項(“標題”,真的)\

.partitionBy partitionColumn \

.mode \(“覆蓋”)

. csv(定位路徑)

[pvignesh92]

嗨Thushar,

你沒有提到getPartitionColumns方法的返回類型。你必須返回分區列集合前列表(“團隊”、“專業”)

然後下麵的方法。

df.write。選項(“標題”,真的)\

.partitionBy (* partitionColumn) \

.mode \(“覆蓋”)

. csv(定位路徑)

請試一試。

[thushar]

嗨Vignesh,

謝謝,返回類型是一個字符串,將一個元組,它是有效的。

[pvignesh92]

嗨Thushar,

請upvote和馬克這個回答,這樣線程將被關閉

[Vidula_Khanna]

嗨@Thushar R

希望一切進行得很順利。

隻是想檢查如果你能解決你的問題。如果是的,你會很高興的答案標記為最好,其他成員可以找到解決方案更快嗎?如果不是,請告訴我們,我們可以幫助你。

幹杯!