秘密可以檢索的範圍僅為一個init腳本?

[fermin_vicente]

你好,如果我在一個設置任何秘密env var使用集群級init腳本,它仍然是可用的用戶附加任何筆記本到集群,輕鬆地提取打印。

有一些提示在文檔中的秘密”無法訪問從程序運行在火花”(我假定它是指命令在筆記本)但我嚐試幾個組合都無濟於事。

• 指定的秘密路徑標準”{{秘密/ scope_name / secret_name}}”作品,但這個秘密之後可以從任何筆記本
• 替代實際的秘密值不起作用在init腳本或筆記本如果我使用一個沒有{{}}或路徑秘密/部分。我試著,因為SPARKPASSWORD文檔可以解釋呢
• 使用一個名為“SPARKPASSWORD”似乎表現的env var其他env var命名沒有區別

我敢肯定,我丟失的東西。任何幫助將不勝感激,謝謝!

[pavan_kumar · Accepted solution]

@Fermin韋森特

嗨,文森特,

您可以使用下麵的init腳本將從spark-env刪除環境變量。sh,運行init腳本後將不可用:

sed - i ' / ^令牌/ d ' /磚/ / conf / spark-env.sh火花

例子:

如果你有在集群引發環境變量中設置以下環境變量:

令牌={{秘密/ mlflow_model_reg / ml-token}}

在init腳本使用以下行最後將刪除“令牌”火花env的環境變量:

sed - i ' / ^令牌/ d ' /磚/ / conf / spark-env.sh火花

[fermin_vicente]

非常感謝孔雀舞,這種做法就像一個魅力!

[pavan_kumar]

@Fermin韋森特

知道這個方法好是工作正常。但是請確保您使用這種方法隻在init腳本