取消
顯示的結果
而不是尋找
你的意思是:

違反降排的問題!

chorongs
新的貢獻者三世

究竟“違反行”做什麼?

1接受解決方案

接受的解決方案

pvignesh92
尊敬的貢獻者

@chorongsδ生活,有一個功能表,你可以檢查你的數據集質量的時候裝載到目標數據庫表並采取行動像放棄那些無效的記錄,不符合你的條件,讓你的工作失敗,等等。

前女友。

約束valid_current_page預計(current_page_idcurrent_page_title)違反下降

在上麵的例子中,如果記錄不符合預期,對違反下降不會加載到你的目標表。這個信息無效的記錄也將被捕獲在收集的指標作為一個DLT管道的一部分。

你可以查看更多關於下麵的鏈接

https://docs.m.eheci.com/delta-live-tables/expectations.html sql語言

在原帖子查看解決方案

3回複3

yogu
尊敬的貢獻者三世

這意味著放棄任何行違反指定的約束,而不是拋出錯誤,中止寫操作。這可能是有用的,當你想處理約束違反通過簡單地排除的問題行寫過程,允許其他的數據寫成功。

這是一個如何使用它的例子:

spark.conf.set (“spark.databricks.delta.constraints”、“column_1 > 0”)
spark.conf.set (“spark.databricks.delta.constraints.mode”、“違反下降行”)

#寫DataFrame磚三角洲的表
df.write.format(“δ”).mode(“追加”).save(“路徑/ /表”)

在這個例子中,約束條件是指定為“column_1 > 0”。如果任何行違反這個約束,他們會被丟棄在寫操作期間,和其他行滿足約束能夠成功寫入數據磚δ表。

pvignesh92
尊敬的貢獻者

我認為這是δ表中不受支持。預期功能來定義數據質量是隻能在三角洲生活表。讓我知道如果你看到任何三角洲表中文檔的例子。

pvignesh92
尊敬的貢獻者

@chorongsδ生活,有一個功能表,你可以檢查你的數據集質量的時候裝載到目標數據庫表並采取行動像放棄那些無效的記錄,不符合你的條件,讓你的工作失敗,等等。

前女友。

約束valid_current_page預計(current_page_idcurrent_page_title)違反下降

在上麵的例子中,如果記錄不符合預期,對違反下降不會加載到你的目標表。這個信息無效的記錄也將被捕獲在收集的指標作為一個DLT管道的一部分。

你可以查看更多關於下麵的鏈接

https://docs.m.eheci.com/delta-live-tables/expectations.html sql語言

歡迎來到磚社區:讓學習、網絡和一起慶祝

加入我們的快速增長的數據專業人員和專家的80 k +社區成員,準備發現,幫助和合作而做出有意義的聯係。

點擊在這裏注冊今天,加入!

參與令人興奮的技術討論,加入一個組與你的同事和滿足我們的成員。

Baidu
map