取消
顯示的結果
而不是尋找
你的意思是:

java.util。NoSuchElementException:關鍵的沒有找到

hitesh1
新的貢獻者三世

你好,

我們使用的是Azure磚與標準DS14_V2集群運行時9.1 LTS,火花3.1.2和Scala 2.12和麵臨著以下的問題經常在運行我們的ETL管道。作為操作的一部分失敗有幾個連接發生在三角洲表和被寫入另一個三角洲的輸出表。

早些時候報道也有類似的問題,是固定的9.0 DB運行時(不支持)(火花- 34000):ExecutorAllocationListener java.util拋出一個異常。NoSuchElementException, ASF……

這裏的文檔:磚9.0運行時(不支持)——Azure磚|微軟文檔

以下異常是一個無關的問題的在上麵提到的bug報告和我應該日誌記錄的另一個錯誤這是固定的嗎?我們正麵臨這個問題每隔幾個日常工作的運行。任何幫助或指針將不勝感激

這是異常堆棧跟蹤:我已經上傳一個文件,完整的堆棧跟蹤,因為大小限製

調用o74209.insertInto時發生一個錯誤。

:java.util。NoSuchElementException:關鍵不是發現:項目(# 1 # 0時,# 4,#沒有18 # 1,# 13,沒有# 12 # 3,當isnull(沒有# 19)-25567其他演員(gettimestamp (yyyy-MM-dd沒有# 19日,一些(等/ UTC),假)日期)# 2,#沒有20歲,沒有# 0 # 3,(沒有# 3 = "),# 4)

+ -關係(# 0,沒有問題# 1,# 2,# 3,# 4,# 5,# 6,# 7,# 8,# 9,10 #,# 11,12 #,# 13,沒有# 14,沒有# 15,沒有# 16日沒有# 17日沒有# 18日沒有# 19日20 #,# 21歲,沒有一個沒有# 22日沒有# 23日……5多個字段)拚花

scala.collection.MapLike.default (MapLike.scala: 235)

在scala.collection.MapLike.default (MapLike.scala: 234美元)

scala.collection.AbstractMap.default (Map.scala: 63)

scala.collection.MapLike.apply (MapLike.scala: 144)

在scala.collection.MapLike.apply (MapLike.scala: 143美元)

scala.collection.AbstractMap.apply (Map.scala: 63)

在com.databricks.sql.transaction.tahoe.stats.PrepareDeltaScan anonfun prepareDeltaScanParallel美元1.美元applyorelse (PrepareDeltaScan.scala: 229)

在com.databricks.sql.transaction.tahoe.stats.PrepareDeltaScan anonfun prepareDeltaScanParallel美元1.美元applyorelse (PrepareDeltaScan.scala: 227)

org.apache.spark.sql.catalyst.plans.QueryPlan立刻2.美元美元申請(QueryPlan.scala: 545)

org.apache.spark.sql.catalyst.plans.QueryPlan立刻2.美元美元申請(QueryPlan.scala: 541)

scala.PartialFunction.applyOrElse (PartialFunction.scala: 127)

在scala.PartialFunction.applyOrElse (PartialFunction.scala: 126美元)

在另一次2.美元美元org.apache.spark.sql.catalyst.plans.QueryPlan applyorelse (QueryPlan.scala: 541)

在org.apache.spark.sql.catalyst.trees.TreeNode。anonfun transformDownWithPruning美元1美元(TreeNode.scala: 484)

org.apache.spark.sql.catalyst.trees.CurrentOrigin .withOrigin美元(TreeNode.scala: 86)

org.apache.spark.sql.catalyst.trees.TreeNode.transformDownWithPruning (TreeNode.scala: 484)

在org.apache.spark.sql.catalyst.plans.logical.LogicalPlan.org apache火花sql催化劑美元美元計劃邏輯AnalysisHelper超級美元美元美元transformDownWithPruning (LogicalPlan.scala: 29)

感謝和問候,

1回複1

Aviral-Bhardwaj
尊敬的貢獻者三世

嘿,男人,

請使用這些配置在您的集群,它會工作,

spark.sql。storeAssignmentPolicy遺留

spark.sql.parquet。binaryAsString真實

火花。錯誤的猜測

spark.sql.legacy。timeParserPolicy遺留

如果它不會工作讓我知道你所麵臨的問題,我們可以討論

歡迎來到磚社區:讓學習、網絡和一起慶祝

加入我們的快速增長的數據專業人員和專家的80 k +社區成員,準備發現,幫助和合作而做出有意義的聯係。

點擊在這裏注冊今天,加入!

參與令人興奮的技術討論,加入一個組與你的同事和滿足我們的成員。

Baidu
map