你好,
我們使用磚運行時版本11.3 lts和執行一個火花Java集群工作使用的工作。自動化的執行這一工作,我們需要定義(從bash配置源文件)一些環境變量通過一個init腳本(集群級)並使其可用於Java工作的火花。
定義或采購環境變量設置在init腳本,但是他們不出現火花Java工作。我們嚐試更新/etc/environment文件在以下位置,但這並不能幫助我們
https://community.m.eheci.com/s/topic/0TO3f000000Ciy8GAC/variables
請讓我們知道如果我們丟失的任何東西。任何幫助將高度讚賞。
提前謝謝!
問候,
/ /拉胡爾
使環境變量定義在一個init腳本可用火花JVM工作,可以通過環境變量的火花工作作為命令行參數或係統屬性。
這裏有一個例子作為命令行參數傳遞環境變量:
spark-submit——主紗deploy-mode端\
- - - conf spark.driver。extraJavaOptions = -Denv_var_1 = $ env_var_1 \
- - - conf spark.executor。extraJavaOptions = -Denv_var_2 = $ env_var_2 \
/ / /你/ SparkJob.jar路徑
謝謝你的回應。
這是我的理解。如果我錯了,請糾正我。當火花工作被觸發(使用spark-submit或Jar選項),從UI或使用REST API, init腳本配置集群節點上執行第一(s)在執行之前的火花工作。所以在init腳本,我們沒有一個選項來提供spark-submit命令行參數。我們動態填充的環境變量配置文件需要采購的init腳本和可用的火花工作。采購部分工作正常,但這些環境變量不成為可用的Java火花工作。