從UIhttps://docs.m.eheci.com/notebooks/notebooks-code.html版本控製檢查版本控製的最好方法。
順便問一下,你們看到這有幫助//m.eheci.com/blog/2022/11/02/monitoring-notebook-command-logs-static-analysis-tools.ht..。@Cameron麥克弗森嗎?
@Debayan穆克吉
正確——某種API訪問將是好的,如以下代碼。
所以,我能夠構造一個dataframe對指定集群的所有查詢,或者至少確定哪些細胞/筆記本電腦連接到集群上執行,具體日期時間。
從databricks_cli.sdk。api_client從databricks_cli進口ApiClient。< <模塊> >。api從databricks_cli.clusters進口< < ClusterHistoryAPI > >。api導入ClusterApi api_client = ApiClient(主機= DATABRICKS_HOST,令牌= DATABRICKS_TOKEN) clusters_api = ClusterApi (api_client) cluster_history_api = ClusterHistoryApi (api_client) #即:這是DS&E api提供曆史訪問集群cluster_id = clusters_api.get_cluster_by_name (DataSciEng_Service_ClusterName) . get (cluster_id) cluster_code_exec_history = clusters_history_api。get_events (cluster_id unix_start unix_end, ASC,”, 0500) . get (code_execution_history) #即:所有代碼段的曆史/細胞/筆記本電腦上執行指定集群DS&E df = spark.read.json (sc.parallelize (cluster_code_exec_history)) #利潤
從UIhttps://docs.m.eheci.com/notebooks/notebooks-code.html版本控製檢查版本控製的最好方法。
順便問一下,你們看到這有幫助//m.eheci.com/blog/2022/11/02/monitoring-notebook-command-logs-static-analysis-tools.ht..。@Cameron麥克弗森嗎?