集群未能從虛擬開始不存在錯誤

集群不是開始由於不存在假的Apache引發錯誤消息。

寫的arvind.ravish

去年發表在:2022年3月4日

問題

你想開始一個集群,但這無法開始。你會得到一個Apache引發錯誤消息。

內部錯誤消息:引發錯誤:司機下來

你檢查集群的司機和工人日誌看看包含一條錯誤消息. io .FileNotFoundException:文件文件:/磚/司機/假的不存在

21/07/14 21:44:06錯誤DriverDaemon $: XXX致命的異常。終端驅動程序。. io .FileNotFoundException:文件文件:/磚/司機/假不存在org.apache.hadoop.fs.RawLocalFileSystem.deprecatedGetFileStatus (RawLocalFileSystem.java: 611) org.apache.hadoop.fs.RawLocalFileSystem.getFileLinkStatusInternal (RawLocalFileSystem.java: 824) org.apache.hadoop.fs.RawLocalFileSystem.getFileStatus (RawLocalFileSystem.java: 601) org.apache.hadoop.fs.FilterFileSystem.getFileStatus (FilterFileSystem.java: 421) org.apache.spark.SparkContext.addFile (SparkContext.scala: 1668) org.apache.spark.SparkContext.addFile (SparkContext.scala: 1632) org.apache.spark.SparkContext anonfun美元13.美元(SparkContext.scala: 511)應用org.apache.spark.SparkContext anonfun美元13.美元(SparkContext.scala: 511)應用scala.collection.immutable.List.foreach (List.scala: 392)

導致

你有火花。假的文件在你的火花配置,但沒有這樣的文件存在。

火花詮釋配置值作為一個有效的文件路徑,並試圖找到它在本地文件係統中。如果文件不存在,它生成的錯誤消息。

. io .FileNotFoundException:文件文件:/磚/司機/假的不存在

解決方案

選項1:刪除火花。假的文件從你的火花配置如果你不通過實際文件引發。

選項2:創建一個虛擬文件,並將其在集群上。你可以用一個init腳本。

  1. 創建初始化腳本。
    % python dbutils.fs.put (“dbfs: /磚/ < init-script-folder > / create_dummy_file。sh”、“”“# !/bin/bash觸摸/磚/司機/假”“”,真的)
  2. 安裝初始化腳本,您剛剛創建集群級init腳本
    你需要的完整路徑的位置腳本(dbfs: /磚/ < init-script-folder > / create_dummy_file.sh)。
  3. 重新啟動集群

安裝後重新啟動集群init腳本。


這篇文章有用嗎?