得到一個關鍵失配誤差δ生活表。

[logan0015]

我試圖創建一個流三角洲住表。我經曆的主要問題是下麵的錯誤。

com.databricks.sql.cloudfiles.errors。CloudFilesIllegalStateException: Found mismatched event: key

我有一個aws演示applow s3中創建一個文件夾,充斥著鑲花的文件。當我第一次攝取這個文件夾所有一切都非常完美。不過下次流運行和創建一個文件夾(名字是獨一無二的每個運行)我收到上述錯誤說明文件夾前綴不匹配。任何人都有這個問題?

[Debayan]

嗨,你能通過這個汽車裝載機雲文件選項:

https://docs.m.eheci.com/ingestion/auto-loader/options.html auto-loader-options。

這個錯誤是不常見的,我們必須考慮它。

[logan0015]

@Debayan穆克吉你好!我已經通過了文檔和用它當我設置dlt。更具體地說當我運行一個初始負載一切正常就好。我運行演示applow在s3中創建一個文件夾和路徑類似s3: / / mybucket /攝入/ load1

當我再次運行演示applow獲得最新的更新,它將創建一個新文件夾在同一路徑。例如:s3: / / mybucket /攝入/ load2錯誤會說什麼

com.databricks.sql.cloudfiles.errors。CloudFilesIllegalStateException: Found mismatched event: key s3://mybucket/ingestion/load2 does not have the prefix load1

[Vidula_Khanna]

嗨@Logan考

希望一切都好!隻是想檢查如果你能解決你的問題,你會很高興分享解決方案或答案標記為最佳?其他的請讓我們知道如果你需要更多的幫助。

我們很想聽到你的聲音。

謝謝!

[logan0015]

你好,@Vidula卡納。沒有我的問題還沒有解決。我隻是指出文檔我已經使用。