取消
顯示的結果
而不是尋找
你的意思是:

與spark-sftp得到錯誤,沒有這樣的文件

andreas9898
新的貢獻者二世

在磚集群與Scala 2.1.1我試圖讀取一個文件到一個火花數據幀使用以下代碼。

val df =火花。讀.format (com.springml.spark.sftp) .option .option(“主機”、“*”)(“用戶名”,“*”).option .option(“密碼”,“*”)(“文件類型”,“csv”) .option(“分隔符”、“;”).option .load (“inferSchema”、“true”) (“/ my_file.csv”)

然而,我得到以下錯誤

org.apache.spark.sql。AnalysisException:路徑不存在:dbfs: / local_disk0 / tmp / my_file.csv;

我想我需要從一個臨時locationbut加載文件,我找不到路徑,這樣做的一種方式。誰能幫助嗎?

3回複3

Debayan
尊敬的貢獻者三世
尊敬的貢獻者三世

嗨@Andreas P,請運行以下命令,看看你能列出該文件嗎?

導入操作係統os.listdir (/ dbfs / tmp)

請參考:https://docs.m.eheci.com/files/index.html access-files-on-the-driver-filesystem

Hubert_Dudek1
尊敬的貢獻者三世

分布是什麼?我記得還沒有在community edition在過去由於缺乏對底層係統的訪問。也可以有差異單/標準集群和高並發、共享的。

Vidula_Khanna
主持人
主持人

嗨@Andreas P

希望一切都好!

隻是想檢查如果你能解決你的問題,你會很高興分享解決方案或答案標記為最佳嗎?其他的請讓我們知道如果你需要更多的幫助。

我們很想聽到你的聲音。

謝謝!

歡迎來到磚社區:讓學習、網絡和一起慶祝

加入我們的快速增長的數據專業人員和專家的80 k +社區成員,準備發現,幫助和合作而做出有意義的聯係。

點擊在這裏注冊今天,加入!

參與令人興奮的技術討論,加入一個組與你的同事和滿足我們的成員。

Baidu
map