三角洲生活表模式發表評論

[Dave_Nithio]

我預定義模式δ生活表自動裝載。這包括評論一些屬性。當執行一個標準readStream,我的言論出現,但在三角洲住表我沒有評論。有什麼我需要做的評論出現嗎?

模式定義:

模式= StructType ([StructField (uuid, StringType(),真的,{“評論”:“獨特的客戶id”}), StructField(“全球定位係統”,StringType(),真的)))

三角洲:直播表

@dlt。表(name = " test_bronze "評論=“測試帳戶數據增量地攝取S3原始著陸區”,table_properties ={“質量”:“青銅”})# # @dlt流數據。表def test_bronze():返回(火花。readStream .format .option (“cloudFiles (“cloudFiles”)。形式at", "csv) .option("header", "True") .schema(schema) .load(data_source) )

但沒有注釋數據:

[Debayan]

嗨@Dave威爾遜,你得到任何錯誤是一樣的嗎?

您可以包括評論。

三角洲生活表自動捕捉數據之間的依賴關係中定義您的管道和使用這種依賴性信息來確定執行順序執行更新時,記錄在事件日誌的血統信息管道。

兩個視圖和表有以下可選屬性:

• 備注:這個數據集的一個人類可讀的描述。

請參考https://docs.m.eheci.com/workflows/delta-live-tables/delta-live-tables-sql-ref.html sql-datasets

[Hubert_Dudek1 · Accepted solution]

你需要添加模式dlt聲明:

@dlt。表(name = " test_bronze "評論=“測試帳戶數據增量地攝取S3原始著陸區”,table_properties ={“質量”:“青銅”},模式=)

[Trodenn]

再次添加table_properties做什麼?鏈接到文檔嗎?

[Hubert_Dudek1]

table_properties是可選參數,您可以使用它配置δ表生活的各個方麵,如優化,分區,保留並設置自己的自定義標記。

你可以找到更多的細節關於table_properties及其可能的值表屬性,https://learn.microsoft.com/en-us/azure/databricks/workflows/delta-live-tables/dlt-table-properties