取消
顯示的結果
而不是尋找
你的意思是:

讀取數據從url使用火花

AryaMa
新的貢獻者三世

讀取數據形式url使用火花,community edition,路徑相關的錯誤,有什麼建議嗎?

url = " https://raw.githubusercontent.com/thomaspernet/data_csv_r/master/data/adult.csv "從pyspark進口SparkFiles spark.sparkContext.addFile (url) # sc.addFile (url) # sqlContext = sqlContext (sc) # df = sqlContext.read.csv (SparkFiles.get (“adult.csv”),頭= True, inferSchema = True) df = spark.read.csv (SparkFiles.get (“adult.csv”),頭= True, inferSchema = True)

錯誤:

路徑不存在:dbfs: / local_disk0 /火花- 9 - f23ed57 - 133 - e - 41 - d5 - 91 b2 - 12555 d641961 / userfiles d252b3ba - 499 c - 42 c9 - be48 - 96358357 - fb75 / adult.csv

13日回複13

weldermartins
尊敬的貢獻者

大家好,這個問題並沒有得到解決,直到今天。我欣賞所有的姑息性治療方法。但是不應該SparkFiles能夠提取數據從一個API ?我測試了SparkFiles社區磚沒有錯誤,但在Azure它生成的路徑沒有找到信息。

RantoB
價值貢獻

你好,

這篇文章最好的回答幫助你:

與pyspark讀csv直接從url (m.eheci.com)嗎?

weldermartins
尊敬的貢獻者

嗨,功能性sparkfiles我已經知道的概念,功能在Azure是不正確的。

這裏的討論:

https://community.m.eheci.com/s/question/0D53f00001XD3pjCAD/sparkfiles-strange-behavior-on-azure-..。

巴東
新的貢獻者二世

對不起,這個備份…

從pyspark進口SparkFiles url = " http://raw.githubusercontent.com/ltregan/ds-data/main/authors.csv " spark.sparkContext.addFile (url) df = spark.read.csv(“文件:/ /”+ SparkFiles.get (“authors.csv”),頭= True, inferSchema = True) df.show ()

我得到這個空輸出:

+ + | | + + + +

任何想法?3.2.2火花在Mac M1

歡迎來到磚社區:讓學習、網絡和一起慶祝

加入我們的快速增長的數據專業人員和專家的80 k +社區成員,準備發現,幫助和合作而做出有意義的聯係。

點擊在這裏注冊今天,加入!

參與令人興奮的技術討論,加入一個組與你的同事和滿足我們的成員。

Baidu
map