你好,
我有三角洲住表管道,使用自動加載程序,攝取從JSON文件。我需要做一些轉換——在這種情況下,轉換時間戳。除了一個時間戳列在每個文件不存在。這是導致DLT管道失敗的錯誤列不存在。
我應該前言這個“我很新磚,汽車裝載機和DLT”。我想說我有基礎,依賴於文檔和在線培訓。
我現在的方法是“青銅”層包括這些轉換。所以我在DLT聲明轉換代碼,操作cloudfiles ()。想法就是我們生青銅數據集仍然是原始的,但是在時區時間戳數據提供商的限製,和相關地區從一開始就和用例。
問題是有意義的,在每一個文件的時間戳的問題不存在,所以不在模式時被自動加載器讀取。我的(可能是錯誤的)假設是汽車裝載機和DLT和自動模式演化,我再也沒有看到這種錯誤——帶走你,破SSIS元數據錯誤消息!
但是我的選擇是什麼?這是代碼我失蹤的DLT聲明?還是更多的建築問題——我應該加載原始/銅表按原樣,然後轉換到另一個表之後嗎?
這是目前我所嚐試的一個片段。
創建或更新直播表<原始三角洲住表>選擇<時間戳轉換>。* < convertedTimestamp從下麵幾列在這裏引用的不同輸出>從(選擇> <原始文件。* <轉換代碼,e。g: from_utc_timestamp(> <原始文件。<時間>、<時區>)>從cloud_files convertedTimestamp (“dbfs: <位置>”,“json”)作為<原始文件>)<時區轉換>內連接<另一個表>請尋找的想法和建議
謝謝
