磚筆記本dataframe SQL表中加載複製數據

[Priya_Mani]

嗨,我試圖從datalake加載數據到使用“SourceDataFrame SQL表。寫在筆記本使用apache火花”操作。

這似乎是裝載在隨機時間重複。日誌不給信息,我不確定還能找什麼。我如何調查,找到問題的根源。請讓我知道我可以提供任何幫助的更多信息。

謝謝!

[werners1]

更多的在這個筆記本能否請您詳細闡述一下?

還有什麼磚運行時版本嗎?

[Priya_Mani]

嗨@Werner Stinckens,這是一個Apache火花筆記本,讀取文件的內容存儲在prem SQL Azure blob和加載到一個表中。

磚運行時是9.1 LTS(包括Apache火花3.1.2,Scala 2.12)與Standard_DS3_v2 worker-driver類型

筆記本使用下麵代碼讀取文件內容

val SourceDataFrame =火花.read .option .option(“頭”,“假”)(“分隔符”,“|”). schema (SourceSchemaStruct) . csv (SourceFilename)

然後寫dataframe成表覆蓋模式

SourceDataFrame2 .write .format (jdbc) .mode(“覆蓋”).option(“司機”,driverClass) .option (“url”, jdbcUrl) .option(“數據表”,TargetTable) .option(“用戶”,jdbcUsername) .option(“密碼”,jdbcPassword) .save ()

[werners1]

你能添加截斷選項嗎?

https://spark.apache.org/docs/latest/sql-data-sources-jdbc.html

[Kaniz]

嗨@Priya摩尼,我們一直沒有收到你自從上次反應@Werner Stinckens,我檢查是否你有一個決議。

如果你有任何解決方案,請與社區分享,因為它可以幫助別人。否則,我們將與更多的細節和試圖幫助回應。

同時,請別忘了點擊“選擇最佳”按鈕時提供的信息幫助解決你的問題。