最佳實踐的登錄數據磚筆記本嗎?

[Gim]

登錄數據磚筆記本的最佳實踐是什麼?

我有很多筆記本電腦,通過工作流並行運行。我想跟蹤等發生的一切錯誤來自一個流。我想這些日誌維護地方在DBFS或存儲賬戶。

我有內置的日誌模塊工作但你必須手動將日誌文件從一個臨時文件夾中文件:dbfs: / FileStore log_folder / text.log。DBFS拋出一個錯誤日誌文件是否直接分配給它的路徑與文件句柄。

這基本上是我的目的,但實際的最佳實踐是什麼磚?

[Debayan]

配置詳細審計日誌和配置審計日誌交付可以最好的練習之一。

https://docs.m.eheci.com/administration-guide/account-settings/audit-logs.html

[Hubert_Dudek1]

請考慮集成與datadog磚https://www.datadoghq.com/blog/databricks-monitoring-datadog/

[Kaniz]

嗨@Gimwell年輕,我們沒有收到你自從上次反應@Hubert杜德克和@Debayan穆克吉,我檢查看看你有一項決議。

如果你有任何解決方案,請與社區分享,因為它可以幫助別人。否則,我們將與更多的細節和試圖幫助回應。

同時,請別忘了點擊“選擇最佳”按鈕時提供的信息幫助解決你的問題。

[karthik_p]

@Gimwell年輕@Debayan穆克吉說過如果你在工作區配置詳細的日誌記錄級別,日誌將被轉移到您的存儲桶,你提供了在配置。從那裏你可以把登錄你的任何許可的日誌監控工具如:Splunk等也同樣配置可以用來監控目錄統一日誌。@Hubert Dudek說過如果你配置datadog,你將圖形視圖的資源正在被工作區不像集群活動,工作積極等等……