如何讓使用統計數據磚或SQL數據磚嗎?

[麥當娜]

你好,

我在找一個方法使用統計數據磚(數據科學與工程和SQL的角色)。

例如:

• 我創建了一個表。我想知道有多少次一個特定的用戶查詢,表。
• 管道是引發了多少次?
• DLT管道運行了多長時間?

有什麼辦法使用統計數據?

[匿名]

的看守圖書館可以幫助。統一目錄也有一些審計,看誰訪問一個表。DLT,有日誌寫入存儲,您可以讀取dataframe和解析為起始和終止時間,數數有多少開始確定往往會觸發一個管道。

[youssefmrini · Accepted solution]

你可以得到這些類型的信息通過激活詳細審計日誌。https://docs.m.eheci.com/administration-guide/account-settings/audit-logs.html

它包含很多重要的指標,您可以利用構建儀表盤。

[Afeez_Raheem]

@Mohammad軍刀,我希望你是好。我從我的經理有相同的請求。我想知道你已經找到一種方法在此請求。我們可以一起工作,如果你還沒有找到解決方案

請讓我們連接

[麥當娜]

@Owo Akilo

我發現到目前為止。

如果啟用了工作區統一目錄:

我設置了Azure日誌分析後文檔。現在,我把日誌在Azure日誌分析工作區。

有一個名為“DatabricksUnityCatalog”我在哪裏可以找到的表動作名稱”可以獲得的”。在這裏,我可以看到表名。但是,由於某種原因,我不明白,磚不保存所有的表使用信息在“DatabricksUnityCatalog”。

我查詢表格幾天但我隻看到“可以獲得的”行動的一天。

如果工作區不支持統一目錄:

我發現的是:

1)使用集群日誌查詢運行在一個筆記本(裁判)。

使集群日誌後,我可以看到表名“log4j-active”,但這個文件的文本文件中改變當我啟動集群。看來,這個文件存檔gz文件但是我找不到表名在存檔文件中對於大多數查詢我的筆記本。

2)查詢曆史運行的SQL查詢角色(裁判)。

我們可以看到用戶界麵的查詢曆史數據磚但是我正在尋找一種方式發送給BI,並提取表名。

我不理解API是如何工作的以及如何使用API規範文件(裁判)