取消
顯示的結果
而不是尋找
你的意思是:

SparkSession水平沒有得到應用的配置工作

dhinesh_balaji
新的因素

我試圖讓火花從應用程序默認度量statsd水槽不是集群級別的工作水平。所以我在火花配置必要的配置上下文和火花會話的代碼。在本地係統,這意味著單個節點,當它運行時,我能夠收到所有的UDP數據包。在AWS磚SingleNode或多節點集群,我部署相同的jar。但是,我沒有得到任何指標。但是如果我提前覆蓋火花配置選項- >計算磚。我能接收標準。和配置都反映在環境變量中。下麵我附上了配置代碼的工作水平。

dhinesh_balaji_3 - 1688629795475. - png

磚火花的集群配置

image.png

我試著更新”指標。屬性”使用InitScript磚集群。我能接收標準

dhinesh_balaji_6 - 1688630322016. - png

。也推翻了火花會話配置後再次引發會話創建。我打印的火花在控製台配置值。

image.png

0回答0
歡迎來到磚社區:讓學習、網絡和一起慶祝

加入我們的快速增長的數據專業人員和專家的80 k +社區成員,準備發現,幫助和合作而做出有意義的聯係。

點擊在這裏注冊今天,加入!

參與令人興奮的技術討論,加入一個組與你的同事和滿足我們的成員。

Baidu
map