如何使用cloudFiles完全覆蓋目標

[BradSheridan]

嘿社區! !我有一個客戶,每天將產生一個CSV文件,需要從青銅- >銀。不幸的是,這個源文件將永遠是一個完整的數據....沒有增量。我想使用自動裝卸機/ cloudFiles checkpointLocation利用,就會觸發一次。然而,我需要確保所有的拚花銀S3 bucket中的文件是完全刪除/覆蓋每次運行。.writeStream .option使用的是什麼呢?

[werners1]

如果你有任何影響傳入的文件的名稱(或位置),你可以添加一個文件名或日期放在子目錄yyyy / mm / dd。這就是我組織我的青銅。

[BradSheridan]

嗯@Werner Stinckens ....我甚至想過最明顯的/最簡單的方法。愛,!會讓這個線程發布在我的結果嗎

謝謝!

[BradSheridan]

我“投票”@werners建議所有的b / c都是非常有效的方法解決我的需要(真正的力量/磚的靈活性UDAP ! ! !)。然而,結果是我要得到增量數據畢竟:)。所以現在流將會是這樣的:Salesforce AWS演示applow - > S3青銅- > - >磚DLT w /自動裝卸機- > S3銀。再次感謝@werners !

[jose_gonzalez]

嗨@Brad謝裏登,

隻是一個友好的後續。做任何反應幫助你解決你的問題嗎?如果是,請其標記為最好。否則,請讓我們知道如果你還需要幫助。

[BradSheridan]

早上何塞。我隻是剛才第一回答最好。謝謝!