取消
顯示的結果
而不是尋找
你的意思是:

有辦法驗證火花配置的值?

匿名
不適用

我們可以設置為例:

spark.conf.set (“aaa.test.junk。配置的,99999),然後運行spark.conf.get (“aaa.test.junk.config”)將返回一個值。

這個問題發生在錯誤地設置一個類似匹配屬性。

spark.conf.set (“spark.sql.shuffle。分區',999)= = >不落後的年代

實際的財產:‘spark.sql.shuffle.partition年代”= = >有一個培訓“年代”

運行spark.conf.get (“spark.sql.shuffle.partition”)將返回一個值= = >不落後的年代

我以為我可以運行getAll()驗證,但getAll()可能不會返回屬性顯式地定義在一個筆記本。

有辦法檢查我是否用作配置參數實際上是有效的嗎?我沒有看到任何錯誤消息

1接受解決方案

接受的解決方案

sajith_appukutt
尊敬的貢獻者二世

你可以檢查的列表這裏的有效配置,並確保沒有拚寫錯誤

在原帖子查看解決方案

2回答2

sajith_appukutt
尊敬的貢獻者二世

你可以檢查的列表這裏的有效配置,並確保沒有拚寫錯誤

User16857281974
貢獻者

你會解決這個就像我們解決這個問題對所有失去的字符串引用。即是創建一個常數代表了鍵值你想確保不會出現打印錯誤。

自然,如果你輸入錯了第一次,就會到處是錯的,但這是適用於所有軟件開發。除此之外,一個簡單的斷言將避免回歸,有人可能會改變你的價值。

好消息是,這已經為你做了,你可以簡單地在代碼中包含它如果你想看到:

Screenshot_95

如果您使用Python,我會繼續和創建自己的常量和斷言,結合底層的Scala代碼就不會是值得的(在我看來)

歡迎來到磚社區:讓學習、網絡和一起慶祝

加入我們的快速增長的數據專業人員和專家的80 k +社區成員,準備發現,幫助和合作而做出有意義的聯係。

點擊在這裏注冊今天,加入!

參與令人興奮的技術討論,加入一個組與你的同事和滿足我們的成員。

Baidu
map