取消
顯示的結果
而不是尋找
你的意思是:

記錄自動裝卸機選項不支持?

雙相障礙
新的貢獻者三世

我有一個函數是使用“cloudFiles”來源從s3流文件內容。其配置是這樣的:

' ' '

流= (

spark.readStream.format (“cloudFiles”)

.option (“cloudFiles。格式”、“文本”)

.option (“cloudFiles。schemaLocation”, MY_CHECKPOINT_PATH)

.option (“wholeText”,真的)

.option (“cloudFiles.fetchParallelism”,:smiling_face_with_sunglasses:

.option (“cloudFiles。pathGlobFilter”、“* /子目錄/ *”)

.load (MY_S3_PATH)

)

' ' '

根據自動裝卸機文檔,這是一個有效的選擇,但當我在筆記本上運行這個DBR 11.3 LTS個人集群中,我得到了“CloudFilesIllegalArgumentException:發現未知選項鍵:cloudFiles.pathglobfilter”

這是在一個AWS部署磚。我也試過12.2集群上運行,與相同的結果。我也嚐試過許多不同的版本的水珠過濾模式本身,都無濟於事。這是最簡單的一個(我的用例需要逗號分隔字符串的選擇之類的)。

1接受解決方案

接受的解決方案

Lakshay
尊敬的貢獻者三世
尊敬的貢獻者三世

嗨@Benjamin院長,關於選擇的問題是“cloudFiles.pathGlobFilter”。你不需要使用cloudFiles前綴。你可以直接提到“pathGlobFilter”

在原帖子查看解決方案

2回答2

Lakshay
尊敬的貢獻者三世
尊敬的貢獻者三世

嗨@Benjamin院長,關於選擇的問題是“cloudFiles.pathGlobFilter”。你不需要使用cloudFiles前綴。你可以直接提到“pathGlobFilter”

雙相障礙
新的貢獻者三世

謝謝,我看看我犯了那個錯誤。

歡迎來到磚社區:讓學習、網絡和一起慶祝

加入我們的快速增長的數據專業人員和專家的80 k +社區成員,準備發現,幫助和合作而做出有意義的聯係。

點擊在這裏注冊今天,加入!

參與令人興奮的技術討論,加入一個組與你的同事和滿足我們的成員。

Baidu
map