取消
顯示的結果
而不是尋找
你的意思是:

秘密可以檢索的範圍僅為一個init腳本?

fermin_vicente
新的貢獻者三世

你好,如果我在一個設置任何秘密env var使用集群級init腳本,它仍然是可用的用戶附加任何筆記本到集群,輕鬆地提取打印。

有一些提示在文檔中的秘密”無法訪問從程序運行在火花”(我假定它是指命令在筆記本)但我嚐試幾個組合都無濟於事。

  • 指定的秘密路徑標準”{{秘密/ scope_name / secret_name}}”作品,但這個秘密之後可以從任何筆記本
  • 替代實際的秘密值不起作用在init腳本或筆記本如果我使用一個沒有{{}}或路徑秘密/部分。我試著,因為SPARKPASSWORD文檔可以解釋呢
  • 使用一個名為“SPARKPASSWORD”似乎表現的env var其他env var命名沒有區別

我敢肯定,我丟失的東西。任何幫助將不勝感激,謝謝!

1接受解決方案

接受的解決方案

pavan_kumar
貢獻者

@Fermin韋森特

嗨,文森特,

您可以使用下麵的init腳本將從spark-env刪除環境變量。sh,運行init腳本後將不可用:

sed - i ' / ^令牌/ d ' /磚/ / conf / spark-env.sh火花

例子:

如果你有在集群引發環境變量中設置以下環境變量:

令牌={{秘密/ mlflow_model_reg / ml-token}}

在init腳本使用以下行最後將刪除“令牌”火花env的環境變量:

sed - i ' / ^令牌/ d ' /磚/ / conf / spark-env.sh火花

在原帖子查看解決方案

7回複7

Hubert_Dudek1
尊敬的貢獻者三世

火花。密碼{{秘密/ scope1 / key1}}是火花比它將可用在所有財產和筆記本通過spark.conf.get (“spark.password”)(我們添加火花集群配置)

SPARKPASSWORD ={{秘密/ scope1 / key1}}是環境變量(我們將它添加在集群環境變量配置)

問題是,與一個標準的帳戶你獲得秘密——他們所有人。在保費,可以做出不同的範圍並設置其中一個可訪問用戶創建。啟動集群(環境變量)所以人們運行筆記本將無法獲得的秘密。

fermin_vicente
新的貢獻者三世

謝謝。有溢價,我們使用範圍,但我們想讓用戶無法打印環境變量用一個簡單的Python中的秘密命令

' ' . join (os.environ [' SPARKPASSWORD '])

pavan_kumar
貢獻者

@Fermin韋森特通常當秘密的任何用戶試圖打印的值將被屏蔽。你能請打印並檢查如果你看到實際的價值?

fermin_vicente
新的貢獻者三世

嗨孔雀舞,

如果你做

print (os.environ [' SPARKPASSWORD '])

輸出(修訂)

但是,如果您運行該命令我把我之前的回複(這隻是眾多方法之一),你完全可以看到的內容保密。

是否有辦法讓env var設置後運行init腳本?

謝謝

歡迎來到磚社區:讓學習、網絡和一起慶祝

加入我們的快速增長的數據專業人員和專家的80 k +社區成員,準備發現,幫助和合作而做出有意義的聯係。

點擊在這裏注冊今天,加入!

參與令人興奮的技術討論,加入一個組與你的同事和滿足我們的成員。

Baidu
map