流數據應用改變錯誤函數傳入的文件

[Data_Sam]

你好,

當我設計一個與傳入的流數據管道移動文件和應用chnge函數用於銀表之間比較改變銅和銀移除重複的鍵列的基礎上,你知道為什麼我忽略改變真正的錯誤嗎?

流程是這樣的:

文件流表銅原料- temp青銅應用改變函數來創建青銅表——臨時表——銀表。

應用改變函數上的錯誤發生在多個文件移動到文件夾中。

唯一的解決辦法就是刷新。如果你刷新但不是全部,它會彈出忽略變化……改變一個不同的目錄。

謝謝

[匿名]

@Raymond黃:

錯誤消息”,而忽略了真正的“變化通常發生在你想申請更改一個表使用三角洲湖的變化數據捕獲(CDC)功能,但你有設置選項ignoreChanges為true。這個選項告訴三角洲湖跳過任何更改,它不能理解或適用於表。有可能發生錯誤,因為更改被應用到數據表不是三角洲湖可以理解的格式,或可能會有一些其他的問題的數據。刷新表將清除元數據和導致三角洲湖再加工從頭表中的所有數據,這可能會解決這個問題。

然而,重要的是要注意,刷新表可以是一個昂貴的操作,特別是在表包含大量數據。也有可能刷新表可能並不總是解決問題,你可能需要進一步調查以確定問題的根源。

進一步研究該問題的一個方法是查看生成的日誌和錯誤消息應用改變函數是否有任何具體的錯誤或警告正在提高。你也可以嚐試禁用ignoreChanges選項,看看這允許更改成功應用。