取消
顯示的結果
而不是尋找
你的意思是:

讀取數據從url使用火花

AryaMa
新的貢獻者三世

讀取數據形式url使用火花,community edition,路徑相關的錯誤,有什麼建議嗎?

url = " https://raw.githubusercontent.com/thomaspernet/data_csv_r/master/data/adult.csv "從pyspark進口SparkFiles spark.sparkContext.addFile (url) # sc.addFile (url) # sqlContext = sqlContext (sc) # df = sqlContext.read.csv (SparkFiles.get (“adult.csv”),頭= True, inferSchema = True) df = spark.read.csv (SparkFiles.get (“adult.csv”),頭= True, inferSchema = True)

錯誤:

路徑不存在:dbfs: / local_disk0 /火花- 9 - f23ed57 - 133 - e - 41 - d5 - 91 b2 - 12555 d641961 / userfiles d252b3ba - 499 c - 42 c9 - be48 - 96358357 - fb75 / adult.csv

13日回複13

RantoB
價值貢獻

你好,

我麵臨同樣的問題,abose以下錯誤:

路徑不存在:dbfs: / local_disk0 /火花- 9 - f23ed57 - 133 - e - 41 - d5 - 91 b2 - 12555 d641961 / userfiles d252b3ba - 499 c - 42 c9 - be48 - 96358357 - fb75 / adult.csv

很遺憾這個鏈接是死:https://forums.m.eheci.com/questions/10648/upload -當地-文件- dbfs - 1. - html

可以給解決了?

謝謝

RantoB
價值貢獻

我得到了一個答案:

與pyspark讀csv直接從url (m.eheci.com)

謝謝

匿名
不適用

@Bertrand伯克-太好了!你會很高興你的回答標記為最好,這樣其他人就可以很容易找到它嗎?

謝謝!

User16752246494
貢獻者

你好,

我們也可以直接讀取CSV DBFS無需編寫。

Scala火花的方法

進口org.apache.commons.io.IOUtils / / jar將已經在火花集群不必擔心進口java.net.URL val urlfile =新的URL (" https://people.sc.fsu.edu/ ~ jburkardt /數據/ csv / airtravel.csv”) val testDummyCSV = IOUtils.toString (urlfile,“utf - 8”) .lines.toList.toDS () val testcsv = .read火花。選項(“標題”,真的).option (“inferSchema”,真正的). csv (testDummyCSV)
顯示器(testcsv)

圖像

筆記本連接

歡迎來到磚社區:讓學習、網絡和一起慶祝

加入我們的快速增長的數據專業人員和專家的80 k +社區成員,準備發現,幫助和合作而做出有意義的聯係。

點擊在這裏注冊今天,加入!

參與令人興奮的技術討論,加入一個組與你的同事和滿足我們的成員。

Baidu
map