問題

Spark-submit工作失敗了未能解析字節字符串:1錯誤消息。

java . util . concurrent。ExecutionException: . lang。NumberFormatException:大小必須指定為字節(b), kibibytes (k),對齊mebibyte (m), gibibyte (g), tebibytes (t)或pebibytes (p)。如50 b、100 k或250米。未能解析字節字符串:1在java.util.concurrent.FutureTask.report (FutureTask.java: 122) java.util.concurrent.FutureTask.get (FutureTask.java: 206) org.apache.spark.sql.execution.exchange.BroadcastExchangeExec.doExecuteBroadcast (BroadcastExchangeExec.scala: 182)…108多所造成的:. lang。NumberFormatException:大小必須指定為字節(b), kibibytes (k),對齊mebibyte (m), gibibyte (g), tebibytes (t)或pebibytes (p)。如50 b、100 k或250米。未能解析字節字符串:1

導致

的值spark.driver.maxResultSize應用程序屬性是負的。

解決方案

的值分配給spark.driver.maxResultSize定義的最大大小(以字節為單位)序列化結果為每個火花行動。你可以分配一個積極的價值spark.driver.maxResultSize屬性來定義一個特定的大小。你也可以指定一個值為0的定義一個無限的最大大小。你不能為這個屬性分配一個負值。

如果上述工作的總大小spark.driver.maxResultSize價值,工作中止。

你應該小心當設置過高(或無限)值spark.driver.maxResultSize。高限製可以在司機如果導致內存不足的錯誤spark.driver.memory屬性沒有設置足夠高。

看到火花配置應用程序屬性為更多的細節。