02-08-202307:12我
我想把一些自定義日誌(在Python)從我的磚筆記本AWS監測。
例如:
df = spark.read.json (“.......................”)
logger.info(“成功吸收json數據”)
有人成功地這樣做過嗎?感謝你的幫助。提前謝謝!
02-09-2023下午09:32
嗨,你可以整合,請參考:https://aws.amazon.com/blogs/mt/how-to-monitor-databricks-with-amazon-cloudwatch/也可以配置審計日誌記錄從AWS S3和重定向到監測。,請參考:https://aws.amazon.com/blogs/mt/how-to-monitor-databricks-with-amazon-cloudwatch/
在原帖子查看解決方案
02-09-2023上午十一33
參考鏈接:
https://docs.m.eheci.com/administration-guide/account-settings/audit-logs.html
02-10-202301:52我
你好@Debayan穆克吉,
謝謝你的回複,這是有幫助的。
從s3日誌文件重定向到cloudwatch——我可以使用boto3(例如:https://stackoverflow.com/questions/59147344/sending-emr-logs-to-cloudwatch)
但是我們有本地與AWS的集成監測嗎?
02-12-2023下午09:39
嗨,唯一本地集成是:https://aws.amazon.com/blogs/mt/how-to-monitor-databricks-with-amazon-cloudwatch/。
謝謝你!
從未顯出
加入我們的快速增長的數據專業人員和專家的80 k +社區成員,準備發現,幫助和合作而做出有意義的聯係。
點擊在這裏注冊今天,加入!
參與令人興奮的技術討論,加入一個組與你的同事和滿足我們的成員。