取消
顯示的結果
而不是尋找
你的意思是:

閱讀與pyspark csv直接從url

RantoB
價值貢獻

我想直接加載一個csv文件火花dataframe磚。我嚐試以下代碼:

url = " https://opendata.reseaux-energies.fr/explore/dataset/eco2mix-national-tr/download/?形式at=csv&timezone=Europe/Berlin&lang=fr&use_labels_for_header=true&csv_separator=%3B" from pyspark import SparkFiles spark.sparkContext.addFile(url) df = spark.read.csv(SparkFiles.get("eco2mix-national-tr.csv"), header=True, inferSchema= True)

我得到了以下錯誤:

路徑不存在:dbfs: / local_disk0 spark-c03e8325-0ab6-4c2e-bffb-c9d290283b31 / userFiles-a507dd96-cc63-4e47-9b0f-44d2a940bb10 / eco2mix-national-tr.csv

謝謝

7回複7

RantoB
價值貢獻

太好了,這是工作。謝謝你!

Piper_Wilson
新的貢獻者三世

@Bertrand伯克——如果@Werner Stinckens回答你的問題,你會紀念他的最好的答案嗎?這將幫助他人快速找到解決方案。

User16752246494
貢獻者

你好,

您還可以使用以下。

進口org.apache.commons.io.IOUtils / / jar將已經在火花集群不必擔心進口java.net.URL val urlfile =新的URL (" https://people.sc.fsu.edu/ ~ jburkardt /數據/ csv / airtravel.csv”) val testDummyCSV = IOUtils.toString (urlfile,“utf - 8”) .lines.toList.toDS () val testcsv = .read火花。選項(“標題”,真的).option (“inferSchema”,真正的). csv (testDummyCSV)顯示(testcsv)

歡迎來到磚社區:讓學習、網絡和一起慶祝

加入我們的快速增長的數據專業人員和專家的80 k +社區成員,準備發現,幫助和合作而做出有意義的聯係。

點擊在這裏注冊今天,加入!

參與令人興奮的技術討論,加入一個組與你的同事和滿足我們的成員。

Baidu
map