問題
你想開始一個集群,但這無法開始。你會得到一個Apache引發錯誤消息。
內部錯誤消息:引發錯誤:司機下來
你檢查集群的司機和工人日誌看看包含一條錯誤消息. io .FileNotFoundException:文件文件:/磚/司機/假的不存在。
21/07/14 21:44:06錯誤DriverDaemon $: XXX致命的異常。終端驅動程序。. io .FileNotFoundException:文件文件:/磚/司機/假不存在org.apache.hadoop.fs.RawLocalFileSystem.deprecatedGetFileStatus (RawLocalFileSystem.java: 611) org.apache.hadoop.fs.RawLocalFileSystem.getFileLinkStatusInternal (RawLocalFileSystem.java: 824) org.apache.hadoop.fs.RawLocalFileSystem.getFileStatus (RawLocalFileSystem.java: 601) org.apache.hadoop.fs.FilterFileSystem.getFileStatus (FilterFileSystem.java: 421) org.apache.spark.SparkContext.addFile (SparkContext.scala: 1668) org.apache.spark.SparkContext.addFile (SparkContext.scala: 1632) org.apache.spark.SparkContext anonfun美元13.美元(SparkContext.scala: 511)應用org.apache.spark.SparkContext anonfun美元13.美元(SparkContext.scala: 511)應用scala.collection.immutable.List.foreach (List.scala: 392)
導致
你有火花。假的文件在你的火花配置,但沒有這樣的文件存在。
火花詮釋假配置值作為一個有效的文件路徑,並試圖找到它在本地文件係統中。如果文件不存在,它生成的錯誤消息。
. io .FileNotFoundException:文件文件:/磚/司機/假的不存在
解決方案
選項1:刪除火花。假的文件從你的火花配置如果你不通過實際文件引發。
選項2:創建一個虛擬文件,並將其在集群上。你可以用一個init腳本。
- 創建初始化腳本。
% python dbutils.fs.put (“dbfs: /磚/ < init-script-folder > / create_dummy_file。sh”、“”“# !/bin/bash觸摸/磚/司機/假”“”,真的)
- 安裝初始化腳本,您剛剛創建集群級init腳本。
你需要的完整路徑的位置腳本(dbfs: /磚/ < init-script-folder > / create_dummy_file.sh)。 - 重新啟動集群
安裝後重新啟動集群init腳本。