沒有出現在源自動裝卸機創建列

[ks1248]

我一直在探索自動裝卸機從一個S3來源攝取gzip JSON文件。

筆記本失敗在第一運行模式不匹配,重新運行筆記本後,攝入所運行的模式發展和成功。

三角洲的模式分析表上創建的攝入,我發現有兩個新列“id”和“optionsDefaults”。

這些列在原始數據不存在,也不包含任何價值,僅僅是null。

有什麼我可能錯過……?

[Debayan]

您好,請您提供截圖(之前和之後),如果可能的話,筆記本內容?

[Kaniz]

嗨@Keshav賽,我們一直沒有收到你自從上次反應@Debayan穆克吉,我檢查,看看他的建議幫助你。

否則,如果你有任何解決方案,請與社區分享,因為它可以幫助別人。

同時,請別忘了點擊“選擇最佳”按鈕時提供的信息幫助解決你的問題。

[ks1248 · Accepted solution]

嗨@Debayan穆克吉,@Kaniz開羅

謝謝你回複我的問題。

我能算出這個問題。我創建模式和檢查點文件夾在同一路徑作為源位置自動裝卸機。這導致模式改變每次自動裝卸機筆記本跑作為源數據現在也包括元數據模式和檢查站。

我這通過提供一個固定的模式和檢查點的位置不同源的位置。

[Kaniz]

嗨@Keshav賽,我衷心感謝你的幫助與你發布的問題。謝謝你是一個有價值的成員,我們的社區。