自動裝卸機失敗

[dimoobraznii]

我使用自動裝卸機與TriggerOnce = true,跑這幾個星期時間表。今天,它打破了:

流源檢查點目錄的元數據文件不見了。此元數據

文件包含重要的流的默認選項,所以流無法重新啟動

現在。請聯係磚的支持援助。

StreamingQueryException:

- - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -

StreamingQueryException回溯(最近調用最後)

模塊在< <命令- 1866658421247823 > >

自動裝彈機1 #等待結束

- - - - - > 2 autoloader_query.awaitTermination ()

3

4 #顯示自動裝卸機的輸出工作

5 autoloader_query.recentProgress

/磚/火花/ python / pyspark / sql /流。awaitTermination py(自我,超時)

99年返回self._jsq。awaitTermination (int(超時* 1000))

100年:

- - > 101年返回self._jsq.awaitTermination ()

102年

103 @ property

/磚/火花/ python / lib / py4j-0.10.9-src.zip / py4j / java_gateway。py __call__(自我,* args)

1302年

1303年的答案= self.gateway_client.send_command(命令)

- > 1304 return_value = get_return_value (

1305年的答案,自我。gateway_client,自我。target_id self.name)

1306年

/磚/火花/ python / pyspark / sql /跑龍套。py在德科(*,* *千瓦)

121 #隱藏除了來自哪裏顯示non-Pythonic

122 # JVM異常消息。

- - > 123年提高從沒有轉換

124年:

125年籌集

StreamingQueryException:

流源檢查點目錄的元數據文件不見了。此元數據

文件包含重要的流的默認選項,所以流無法重新啟動

現在。請聯係磚的支持援助。

= = = = = =流查詢

標識符(id = 0416: c163 a2de - 4 f6d - 82 f7 - 189 a0e7bb39e runId = 5 b7a00bb-3c27-4f04-bfd7-bce8d36bf225]

目前承諾補償:{CloudFilesSource [wasbs: / / data@ <我存儲>.blob.core.windows.net/ * / * / * / * /): {“seqNum”: 18550年,“sourceVersion”: 1、“lastBackfillStartTimeMs”: 1632167318876,“lastBackfillFinishTimeMs”: 1632167323294}}

當前可用的補償:{CloudFilesSource [wasbs: / /(電子郵件保護)/ * / * / * / * /):{“seqNum”: 18560年,“sourceVersion”: 1、“lastBackfillStartTimeMs”: 1632167318876,“lastBackfillFinishTimeMs”: 1632167323294}}

當前狀態:積極

線程狀態:可運行

[Kaniz]

你好@dimoobraznii!我的名字叫Kaniz,我這裏的技術主持人。很高興認識你,謝謝你的問題!看看你的同行在社區中有一個回答你的問題。否則我將盡快給你回電。謝謝。

[Hubert_Dudek1 · Accepted solution]

.option (“checkpointLocation”、“dbfs: / / checkpointPath”)

自己在未來您可以指定位置(使用以上選項)有更好的控製。我敢打賭檢查點是源目錄和在某種程度上它是丟失或者損壞。

[dimoobraznii]

我有這個:

checkpoint_path = target_path + autoloader_query = (raw_df檢查點/。writeStream .format(“δ”).trigger(一次= True) .option (“checkpointLocation”, checkpoint_path) .partitionBy .table (“p_ingest_date_utc”、“p_ingest_hour_utc”) (“raw_cooked”))

所以我擁有它。這是長時間工作。

[Deepak_Bhutada]

嗨dimoobraznii(客戶)

這個錯誤是在流當有人改變流檢查點目錄手動或點一些流媒體類型的檢查點其他流媒體類型。請檢查是否有任何變化的檢查點之前錯誤運行。