隨機誤差:至少一列必須指定表嗎?

[Jujiro]

我有下麵的代碼在一個筆記本上。隨機給我錯誤的,”至少一列必須指定表。”The error occurs (if at all it occurs) only on the first run after attaching to a cluster.

集群的細節:

總結

5 - 10的工人

320 - 640 GB memory40 - 80 Cores1司機

64 GB內存,8核心運行時

10.4.x-scala2.12 Apache火花3.2.1之上

什麼好主意嗎?

[User16869509900]

磚的筆記本我試著重現問題,使用10.4集群,跑幾次。不幸的是不能重現這個問題。它運行在每次運行成功。這種間歇性問題的頻率是什麼?如果您重新運行命令10倍會拋出錯誤一次?仍然建議支持文件,這樣我們就可以更深入的看這個。

[Jujiro]

所以,基本上,我已經解決了這個問題(現在)通過將罪魁禍首聲明在一個try / catch塊幾重試。錯誤仍然發生,但清除在第二重試。

[User16869509900]

你有多個線程同時運行這個語句?如果競爭條件可能會導致這個問題,當試圖更新metastore。

[Jujiro]

我不使用任何線程。

[User16869509900]

如果你隻是想擺脫表,您可以將表使用蜂巢客戶機,

https://learn.microsoft.com/en-us/azure/databricks/kb/metastore/drop-table-corruptedmetadata