早上好,
我有一些問題與我的DLT管道。
我有一個情況我在bronze-silver加載表從一個SQL數據庫編程(每一行對應一個表來創建)。這讓我的情況有時隻有一半銀表中定義的管道。
這是導致我一些問題,我的黃金表需要也許3銀表。例如,如果silver_A不是定義在管道(可以是形式sql表中刪除非)然後我的黃金表失敗!
我試圖繞過這個限製,通過使用一個試試,除了:
@dlt.table (name = f“黃金”)def live_gold():““數據加載到黃金表。””“試一試:#讀取數據數據= dlt.read (f“silver_A”)除了:data =火花。createDataFrame([],模式=)df =(數據.groupBy (“id”,“campaign_title”) .count () .withColumnRenamed .withColumn (“id”、“src_campaign_id”) (“campaign_id monotonically_increasing_id()))返回df
如果表不能讀取dlt.read(),然後創建一個空dataframe使用。
這是導致我一些奇怪的問題。當我運行我的DLT管道,它不接的等級表,它加載黃金沒有數據(撞擊除外)。然而,它還在我的銀表數據加載,不是連接到黃金!
我唯一一次能讓它工作是當我刪除源數據和加載它(從存儲中刪除賬戶,然後讀)。我的銀表流從一個銅標準的做法。它一旦通過適當的hierarcy /加載黃金,如果我第二次運行它,同樣的問題的回報。
對我來說似乎除了不能正常工作,我不知道如何檢查日誌進一步調查DLT正在做什麼,我知道它找出層次結構在處理之前所以的事情要做。
我也想創建空銀表對象編程而不是處理黃金表,任何意見就好了。
總結,我的問題是:
- 試著除了支持dlt管道?(加載表)
- 我怎麼才能看日誌找出訂單在處理我的dlt代碼/發生什麼事了?
- 有沒有更好的方法處理缺失的表在創建黃金表?
謝謝,
羅比
