我試圖拯救dataframe經過一係列的數據操作使用Udf函數差值表。我試著使用這個代碼
(
df
.write
.format(δ)
.mode(覆蓋)
.option (“overwriteSchema”,“真正的”)
.saveAsTable (“output_table”)
)
但這是超過2小時。所以我的dataframe轉換為sql當地臨時視圖,保存dfδ從臨時表視圖,這個工作的一個筆記本(14分鍾),但其他筆記本這也是花大約2小時寫三角洲表。不確定為什麼這些事情會發生在一個非常小的數據集。任何解決方案都是感激。
代碼:
df.createOrReplaceTempView (“sql_temp_view”)
%的sql
刪除表如果存在default.output_version_2;
創建表default.output_version_2
select * from sql_temp_view
