取消
顯示的結果
而不是尋找
你的意思是:

問題在試圖讀取一個文本文件在磚使用本地文件的API,而不是引發API。

RiyazAli
貢獻者三世

我想讀一個小txt文件作為一個表添加到默認db磚。在試圖通過本地文件讀取文件API,我得到一個‘FileNotFoundError’,但我能夠讀取相同的文件火花抽樣使用SparkContext

請找到下麵的代碼:

張開(" / FileStore /表/ boringwords。f_read txt”、“r”):在f_read:打印(線)

我得到的是錯誤的:

FileNotFoundError回溯(去年)最近調用<命令- 2618449717515592 > <模塊> - - - - - > 1張開(“dbfs: / FileStore /表/ boringwords。txt”、“r”在f_read) f_read: 2: 3打印(線)FileNotFoundError: [Errno 2]沒有這樣的文件或目錄:“dbfs: / FileStore /表/ boringwords.txt”

我在哪裏,讀取文件使用沒有問題SparkContext:

boring_words = sc.textFile (“/ FileStore /表/ boringwords.txt”)設置(i.strip()因為我boring_words.collect ())

正如預期的那樣,我得到上麵的代碼塊的結果:

[4]:{“瘋了”,“移動”,“文件名”,“圈”,“餅幹”,“移民”,“預期”,“社論”、“審查”}

我指的也是DBFS文檔了解本地文件API的限製,但沒有領導在這個問題上。任何幫助將不勝感激。謝謝!

1接受解決方案

接受的解決方案

嗨@Riyaz阿裏,

在community edition中,在DBR 7 +,這山是禁用的。

如果你使用community edition,請運行您的代碼在一個筆記本DBR版本< 7。應當肯定的工作。

截圖2021-11-24 7.02.14點截圖2021-11-24 7.10.57點

在原帖子查看解決方案

9回複9

werners1
尊敬的貢獻者三世

你可以嚐試用/ dbfs / Filestore /表/ boringwords.txt嗎?

RiyazAli
貢獻者三世

嘿@Werner Stinckens !謝謝你的回應!

我試過你的建議,我仍然得到同樣的錯誤!

PFA下麵剪:

error_snip此外,我意識到' ' ' / dbfs ' ' '添加到路徑是可選的,正如我將數據存儲在默認的數據庫。指OP,我創建一個抽樣通過‘’”的路徑/ FileStore /表/文件名。txt”“”“sc.textFile”。

謝謝你!

werners1
尊敬的貢獻者三世

你忘記了一個“/”作為第一個字符的文件路徑。

RiyazAli
貢獻者三世

你好@Werner Stinckens !

你是對的!我之前錯過了‘/’。

但是,並沒有什麼改變dbfs之前後添加“/”。下麵是剪斷:

圖像此外,當我試著相同的路徑表示法SparkContext -它拋給我一個錯誤:

圖像我開始懷疑這是正確的方式來提供絕對路徑。

相反,我給的路徑為“dbfs: / FileStore /表/ boringwords。txt”工作。

圖像但這並不適用於讀取文件從本地API。

歡迎來到磚社區:讓學習、網絡和一起慶祝

加入我們的快速增長的數據專業人員和專家的80 k +社區成員,準備發現,幫助和合作而做出有意義的聯係。

點擊在這裏注冊今天,加入!

參與令人興奮的技術討論,加入一個組與你的同事和滿足我們的成員。

Baidu
map