設置執行器日誌級別

學習如何設置在磚執行人的日誌級別。

寫的亞當Pavlacka

去年發表在:2022年3月4日
刪除

警告

本文描述的步驟與客戶使用Log4j 1。x在磚集群。Log4j 1。x是不再維護和有三個已知的cf (cve - 2021 - 4104,cve - 2020 - 9488,cve - 2019 - 17571)。如果你的代碼使用一個類(JMSAppender或SocketServer)的影響,使用可能影響這些漏洞。

設置日誌級別所有執行者,必須設置它在每個工人在JVM。

例如:

% scala sc.parallelize (Seq (" "))。foreachPartition (x = > {org.apache.log4j進口。{LogManager,水平}進口org.apache.commons.logging.LogFactory LogManager.getRootLogger () .setLevel (Level.DEBUG) val日誌= LogFactory.getLog log.debug (“EXECUTOR-LOG:”)(“開始執行程序調試日誌級別”)})

驗證設置水平,導航到火花UI,選擇執行人選項卡,並打開stderr日誌對於任何遺囑執行人: