最好方法將鋪暫存目錄中的文件複製到三角洲表

[User16869510359]

我有一些鑲花數據在一個臨時目錄中。我可以直接將它們複製到三角洲表,什麼是最好的選擇。

[User16869510359 · Accepted solution]

最簡單的解決方案是使用複製命令。複製到命令確保冪等性,因此,即使操作失敗沒有數據不一致。複製到命令利用火花集群上的資源從而完成得更快。

https://docs.m.eheci.com/spark/latest/spark-sql/language-manual/delta-copy-into.html