發送自定義日誌從筆記本AWS監測

[Murthy1]

我想把一些自定義日誌(在Python)從我的磚筆記本AWS監測。

例如:

df = spark.read.json (“.......................”)

logger.info(“成功吸收json數據”)

有人成功地這樣做過嗎?感謝你的幫助。提前謝謝!

[Manoj12421]

參考鏈接:

https://docs.m.eheci.com/administration-guide/account-settings/audit-logs.html

[Debayan · Accepted solution]

嗨,你可以整合,請參考:https://aws.amazon.com/blogs/mt/how-to-monitor-databricks-with-amazon-cloudwatch/也可以配置審計日誌記錄從AWS S3和重定向到監測。,請參考:https://aws.amazon.com/blogs/mt/how-to-monitor-databricks-with-amazon-cloudwatch/

[Murthy1]

你好@Debayan穆克吉,

謝謝你的回複,這是有幫助的。

從s3日誌文件重定向到cloudwatch——我可以使用boto3(例如:https://stackoverflow.com/questions/59147344/sending-emr-logs-to-cloudwatch)

但是我們有本地與AWS的集成監測嗎?

[Debayan]

嗨,唯一本地集成是:https://aws.amazon.com/blogs/mt/how-to-monitor-databricks-with-amazon-cloudwatch/。

謝謝你！