取消
顯示的結果
而不是尋找
你的意思是:

如何閱讀和廣場barkets gcs路徑嗎?

Sparktaculer”id=
新的貢獻者二世

這就跟你問聲好!

我想讀一個文件使用Scala從gcs方括號的文件路徑。

我得到以下錯誤:在209年路徑指數URISyntaxException:非法字符

我試著把一個額外的削減在他們麵前麵前但它仍然不工作。

會非常感謝你的幫助在!

5回複5

Kaniz”id=
社區經理”id=
社區經理

@Sparktaculer,當使用Scala從GCS讀取一個文件,如果文件路徑包含方括號,你可以嚐試使用URL編碼編碼方括號。例如,替換“[”與“% 5 b”和“]”與“% 5 d”。然後在您的代碼中使用編碼的文件路徑。

這裏有一個例子:

進口org.apache.hadoop.fs。{文件係統、路徑}
進口java.net.URI

= " val路徑g: / /桶/道路/ / % 5 bsquare % 5 d / brackets.csv
val fs =文件係統。get(新的URI(路徑),sc.hadoopConfiguration)
val文件= fs。打開(新路徑(路徑))
val行= scala.io.Source.fromInputStream(文件).getLines ()

在本例中,文件路徑包含方括號編碼為“% 5 b”和“% 5 d”。的FileSystem.get方法用於處理到文件係統,以及fs.open方法是用來打開文件。最後,scala.io.Source.fromInputStream方法用於讀取文件的內容。來源:
- - - - - -https://docs.m.eheci.com/data/data-sources/read-gcs.html
- - - - - -https://en.wikipedia.org/wiki/Percent-encoding

Sparktaculer”id=
新的貢獻者二世

@Kaniz!謝謝你的幫助。

然而,當我托盤使用你代碼我還得到一個錯誤:“URISyntaxException:非法字符在路徑索引

我想讀一個txt文件。這是文件路徑:

“gs: / /桶/數據/ sparkTests / gm - 1220,閱讀一個txt / Version1/3模型創建/ 3 models_to_check / [no_country](2) /用法”
這就是我想要讀的文件:
def loadFromGCS ( gcsUrl : 字符串 :disappointed_face:”title=( 字符串 , 布爾 , RecordClassifier )= {
瓦爾 內容 = spark.sparkContext.textFile (gcsUrl) .collect () .mkString ( “\ n” )
打印(內容) }

Tharun-Kumar”id=
尊敬的貢獻者”id=
尊敬的貢獻者

@Sparktaculer

globPaths在火花中,您可以禁用該選項。這將跳過期間發生的模式匹配文件讀取。

spark.read。選項(“__globPaths__”,假).format (" ") .load (“[]”)

匿名
不適用

@Sparktaculer,

我們還沒有聽到來自你自從上次反應@Tharun-Kumar@Kaniz,我檢查看看她的建議幫助你。

否則,如果你有任何解決方案,請與社區分享,因為它可以幫助別人。

同時,請別忘了點擊“選擇最佳”按鈕時提供的信息幫助解決你的問題。

歡迎來到磚社區:讓學習、網絡和一起慶祝

加入我們的快速增長的數據專業人員和專家的80 k +社區成員,準備發現,幫助和合作而做出有意義的聯係。

點擊在這裏注冊今天,加入!

參與令人興奮的技術討論,加入一個組與你的同事和滿足我們的成員。

Baidu
map