取消
顯示的結果
而不是尋找
你的意思是:

使用磚攝取宇宙Mongo DB數據通過應用過濾器

Swapnil1998
新的貢獻者三世

我需要添加一個篩選器條件而攝入數據從一個宇宙Mongo DB使用磚,

我使用以下查詢攝取宇宙收集的數據:

df =火花。讀\

.format \ (“com.mongodb.spark.sql.DefaultSource”)

.option (“uri”, sourceCosmosConnectionString) \

.option(“數據庫”,sourceCosmosDocument) \

.option(“集合”,sourceCosmosCollection) \

.load ()

我如何添加一個過濾器來選擇隻有選定的數據?我隻是想攝取數據的地方{“類型”:“學生”}

我會很感激如果任何人都可以幫助

我給一試以下查詢但得到錯誤如下:

查詢={“類型”:“學生”}

df =火花。讀\

.format \ (“com.mongodb.spark.sql.DefaultSource”)

.option (“uri”, sourceCosmosConnectionString) \

.option(“數據庫”,sourceCosmosDocument) \

.option(“集合”,sourceCosmosCollection) \

.option(“管道”,json.dumps(查詢))\

.load ()

錯誤:

org.apache.spark。SparkException:工作階段失敗而終止:任務0階段16.0失敗了4次,最近的失敗:在舞台上失去了任務0.3 16.0 (TID 34)(10.139.64.5執行人0):com.mongodb。MongoCommandException:命令失敗與錯誤40324(40324):“識別管道階段名稱:類型”服務器xxxxxxx-xxxxx.mongo.cosmos.azure.com: 10255。完整的反應是{" ok ": 0.0,“errmsg”:“識別管道階段名稱:類型”,“代碼”:40324年,“代號”:" 40324 "}

1接受解決方案

接受的解決方案

Kaniz
社區經理
社區經理

嗨@Swapnil Sarkar,錯誤消息意味著你聚合的藝名管道請求並不認可。解決方案將確保所有聚合管道的名字在你的請求是有效的。

文章描述常見的錯誤和解決方案部署使用MongoDB的Azure宇宙DB。

試試這個:-

查詢={$匹配:{“類型”:‘學生’}}
df =火花。讀\.format \ (“com.mongodb.spark.sql.DefaultSource”).option (“uri”, sourceCosmosConnectionString) \.option(“數據庫”,sourceCosmosDocument) \.option(“集合”,sourceCosmosCollection) \.option('pipeline', query) \ .load()

在原帖子查看解決方案

4回複4

Kaniz
社區經理
社區經理

嗨@Swapnil Sarkar,錯誤消息意味著你聚合的藝名管道請求並不認可。解決方案將確保所有聚合管道的名字在你的請求是有效的。

文章描述常見的錯誤和解決方案部署使用MongoDB的Azure宇宙DB。

試試這個:-

查詢={$匹配:{“類型”:‘學生’}}
df =火花。讀\.format \ (“com.mongodb.spark.sql.DefaultSource”).option (“uri”, sourceCosmosConnectionString) \.option(“數據庫”,sourceCosmosDocument) \.option(“集合”,sourceCosmosCollection) \.option('pipeline', query) \ .load()

Swapnil1998
新的貢獻者三世

Kaniz開羅,

上述查詢按預期工作。

謝謝你的建議。

問候,

Swapnil

嗨@Swapnil Sarkar,這將意味著很多如果你可以選擇“最佳答案“幫助別人找到正確答案更快。

這使得回答後出現問題,所以很容易找到在一個線程。

它還幫助我們馬克問題回答我們可以有更多的眼睛幫助別人有許多未解之謎。

Swapnil1998
新的貢獻者三世

完成

歡迎來到磚社區:讓學習、網絡和一起慶祝

加入我們的快速增長的數據專業人員和專家的80 k +社區成員,準備發現,幫助和合作而做出有意義的聯係。

點擊在這裏注冊今天,加入!

參與令人興奮的技術討論,加入一個組與你的同事和滿足我們的成員。

Baidu
map