磚集群的日誌,我在哪裏可以找到表使用信息或查詢?

[麥當娜]

你好,

我試圖找到查詢運行在一個筆記本(集群)上運行在集群日誌。

我設置了集群提供日誌文件夾DBFS和從那裏我可以讀取日誌文件。

我創建了一個磚工作區溢價層和不支持統一的目錄。表存儲在hive_metastore基於我的客戶的要求。

我查詢的表在特定的日子,但我找不到表名在日誌文件的具體行動和時間戳。

我能看到表名在日誌文件“log4j”,但似乎這些有關當我創建表(基於時間戳)。

我理解的是“log4j-active。日誌“集群包含當前運行的日誌或最近的日誌。不時地,磚在單獨的gz文件歸檔日誌文件名“log4j-Date-log.gz”。例如:“log4j - 2023 - 02 - 22 - 10. - log.gz”。

請讓我知道我在哪裏可以找到表的使用或信息查詢(如果有)。

另外,請注意,我沒有得到所有活動的日誌。例如,在2月24日我開始集群和運行一些查詢。但是,沒有“log4j”文件,即使我認為格林尼治時間時區的時間。

[匿名 · Accepted solution]

@Mohammad劍:

如果你沒有看到預期的登錄日誌文件,可能日誌沒有正確配置或日誌一直旋轉的活動日誌文件並存檔文件。這裏有一些建議你可以試著找到你跑的日誌查詢:

1. 檢查記錄是否正確配置:確保日誌記錄設置集群時被正確配置。你可以檢查集群的日誌配置集群配置頁麵,在“高級選項”一節。
2. 檢查歸檔文件:如你所說,日誌是定期歸檔和存儲在單獨的gzip文件。檢查歸檔文件的相關時間是否包含日誌你正在尋找。您可以訪問歸檔日誌文件通過導航到DBFS文件夾存儲和搜索文件與“log4j-YYYY-MM-DD-HH.log.gz”這樣的名字。請注意,您可能需要解壓文件查看其內容。
3. 檢查審計日誌:磚提供審計日誌功能,記錄所有用戶活動在工作區中。這包括各種信息,比如運行一個查詢運行時,訪問哪些表。您可以訪問的審計日誌導航到工作空間的“審計日誌”一節。
4. 檢查metastore日誌:如果你的表是存儲在蜂巢metastore,你可以找到信息表的使用和查詢metastore日誌。這些日誌通常可以在相同的目錄中找到metastore數據庫,和可能包含信息表的創建、修改和使用。

如果這些建議幫助你找到你正在尋找的日誌,你可能需要參考的磚支持團隊的進一步的幫助。