使init腳本中定義的環境變量可用於火花JVM工作嗎?

[Rahul2025]

你好,

我們使用磚運行時版本11.3 lts和執行一個火花Java集群工作使用的工作。自動化的執行這一工作,我們需要定義(從bash配置源文件)一些環境變量通過一個init腳本(集群級)並使其可用於Java工作的火花。

定義或采購環境變量設置在init腳本,但是他們不出現火花Java工作。我們嚐試更新/etc/environment文件在以下位置,但這並不能幫助我們

https://community.m.eheci.com/s/topic/0TO3f000000Ciy8GAC/variables

請讓我們知道如果我們丟失的任何東西。任何幫助將高度讚賞。

提前謝謝!

問候,

/ /拉胡爾

[匿名]

使環境變量定義在一個init腳本可用火花JVM工作,可以通過環境變量的火花工作作為命令行參數或係統屬性。

這裏有一個例子作為命令行參數傳遞環境變量:

spark-submit——主紗deploy-mode端\

- - - conf spark.driver。extraJavaOptions = -Denv_var_1 = $ env_var_1 \

- - - conf spark.executor。extraJavaOptions = -Denv_var_2 = $ env_var_2 \

/ / /你/ SparkJob.jar路徑

[Rahul2025]

謝謝你的回應。

這是我的理解。如果我錯了,請糾正我。當火花工作被觸發(使用spark-submit或Jar選項),從UI或使用REST API, init腳本配置集群節點上執行第一(s)在執行之前的火花工作。所以在init腳本,我們沒有一個選項來提供spark-submit命令行參數。我們動態填充的環境變量配置文件需要采購的init腳本和可用的火花工作。采購部分工作正常,但這些環境變量不成為可用的Java火花工作。

[Rahul2025]

謝謝你的回應。另一個選項是把它們放在下麵的文件從init腳本。

/磚/ / conf /火花

[匿名]

嗨@Rahul K

希望一切都好!隻是想檢查如果你能解決你的問題,你會很高興分享解決方案或答案標記為最佳?其他的請讓我們知道如果你需要更多的幫助。

我們很想聽到你的聲音。

謝謝!