解決:孤兒(?)上的文件數據磚S3 bucket -磚- 29293

alejandrofm · ‎10-04-2022

嗨,我是看到很多空(而不是)目錄等航線:

xxxxxx.jobs / FileStore / job-actionstats /

xxxxxx.jobs / FileStore / job-result /

xxxxxx.jobs /命令的結果

我可以創建一個生命周期,刪除舊的對象(文件/目錄)?多少天?這種情況下的最佳實踐是什麼?

還有其他的目錄需要生命周期配置嗎?

謝謝!

Hubert_Dudek1 · ‎10-18-2022

在辦公時間,我問一年前添加清洗集群日誌API,甚至不考慮。我認為硒。

您可以限製為集群通過玩log4j日誌記錄,例如,把下麵類似. sh腳本放在dbfs作為集群的啟動腳本(你需要另外指定日誌屬性調整的司機和執行人):

# !/bin/bash回聲”DB_IS_DRIVER美元上執行司機:“如果[[$ DB_IS_DRIVER = " TRUE "]];然後LOG4J_PATH = " / home / ubuntu /磚/火花/ dbconf / log4j /司機/ log4j。其他屬性”LOG4J_PATH = " / home / ubuntu /磚/火花/ dbconf / log4j /執行人/ log4j。“fi回聲”調整log4j屬性。屬性:$ {LOG4J_PATH}“回聲”log4j。< custom-prop > = <價值> " > > $ {LOG4J_PATH}

在筆記本上,您可以禁用日誌記錄通過使用:

sc.setLogLevel(“關閉”);

此外,對於集群配置,您可以設置為三角洲文件:

spark.databricks.delta.logRetentionDuration spark.databricks.delta.deletedFileRetentionDuration 3天3天

在原帖子查看解決方案

Hubert_Dudek1 · ‎10-13-2022

在管理控製台中,有幹淨的存儲,您可以使用的選項。

所有可配置(DB位置,檢查站),請使用您的存儲控製來控製它。

alejandrofm · ‎10-13-2022

這就跟你問聲好！現在我不知道,清除,是否有辦法安排,所以日誌保留較少的時間嗎?也許我想保持的最後7天一切嗎?

謝謝!

Hubert_Dudek1 · ‎10-18-2022

在辦公時間,我問一年前添加清洗集群日誌API,甚至不考慮。我認為硒。

您可以限製為集群通過玩log4j日誌記錄,例如,把下麵類似. sh腳本放在dbfs作為集群的啟動腳本(你需要另外指定日誌屬性調整的司機和執行人):

# !/bin/bash回聲”DB_IS_DRIVER美元上執行司機:“如果[[$ DB_IS_DRIVER = " TRUE "]];然後LOG4J_PATH = " / home / ubuntu /磚/火花/ dbconf / log4j /司機/ log4j。其他屬性”LOG4J_PATH = " / home / ubuntu /磚/火花/ dbconf / log4j /執行人/ log4j。“fi回聲”調整log4j屬性。屬性:$ {LOG4J_PATH}“回聲”log4j。< custom-prop > = <價值> " > > $ {LOG4J_PATH}

在筆記本上,您可以禁用日誌記錄通過使用:

sc.setLogLevel(“關閉”);

此外,對於集群配置,您可以設置為三角洲文件:

spark.databricks.delta.logRetentionDuration spark.databricks.delta.deletedFileRetentionDuration 3天3天

alejandrofm · ‎10-28-2022

不是最好的解決方案,將不會執行這樣的刺激,但它是最好的答案,謝謝!