違反降排的問題!

[chorongs]

究竟“違反行”做什麼?

[yogu]

這意味著放棄任何行違反指定的約束,而不是拋出錯誤,中止寫操作。這可能是有用的,當你想處理約束違反通過簡單地排除的問題行寫過程,允許其他的數據寫成功。

這是一個如何使用它的例子:

spark.conf.set (“spark.databricks.delta.constraints”、“column_1 > 0”)
spark.conf.set (“spark.databricks.delta.constraints.mode”、“違反下降行”)

#寫DataFrame磚三角洲的表
df.write.format(“δ”).mode(“追加”).save(“路徑/ /表”)

在這個例子中,約束條件是指定為“column_1 > 0”。如果任何行違反這個約束,他們會被丟棄在寫操作期間,和其他行滿足約束能夠成功寫入數據磚δ表。

[pvignesh92]

我認為這是δ表中不受支持。預期功能來定義數據質量是隻能在三角洲生活表。讓我知道如果你看到任何三角洲表中文檔的例子。

[pvignesh92 · Accepted solution]

嗨@chorongsδ生活,有一個功能表,你可以檢查你的數據集質量的時候裝載到目標數據庫表並采取行動像放棄那些無效的記錄,不符合你的條件,讓你的工作失敗,等等。

前女友。

約束valid_current_page預計(current_page_id是不零和current_page_title是不零)在違反下降行

在上麵的例子中,如果記錄不符合預期,對違反下降不會加載到你的目標表。這個信息無效的記錄也將被捕獲在收集的指標作為一個DLT管道的一部分。

你可以查看更多關於下麵的鏈接

https://docs.m.eheci.com/delta-live-tables/expectations.html sql語言