的曆史數據科學與工程服務集群上執行代碼

[rendorHaevyn]

我希望能夠查看任何或所有的清單如下:

• 當筆記本連接/分離和DS&E集群
• 當筆記本是DS&E集群上執行代碼
• 筆記本什麼特定的細胞代碼是DS&E集群上執行

這是目前可能嗎?

我已經探索了使用集群和工作/運行api,但是,這些並沒有解決特別的筆記本執行代碼,但隻有工作/工作流。

雖然看起來功能後,我可以在磚SQL服務倉庫,我需要相同的功能為DS&E集群。

這個需求是確定什麼代碼的原因和筆記本前調整和擴展磁盤大小事件立即引發特定DS&E集群。

謝謝。

[Debayan]

你好,你是說如果你想通過UI列表,然後目前還不能使用。

請標記@Debayan與你的下一個反應會通知我。謝謝你！

[rendorHaevyn]

@Debayan穆克吉

正確——某種API訪問將是好的,如以下代碼。

所以,我能夠構造一個dataframe對指定集群的所有查詢,或者至少確定哪些細胞/筆記本電腦連接到集群上執行,具體日期時間。

從databricks_cli.sdk。api_client從databricks_cli進口ApiClient。< <模塊> >。api從databricks_cli.clusters進口< < ClusterHistoryAPI > >。api導入ClusterApi api_client = ApiClient(主機= DATABRICKS_HOST,令牌= DATABRICKS_TOKEN) clusters_api = ClusterApi (api_client) cluster_history_api = ClusterHistoryApi (api_client) #即:這是DS&E api提供曆史訪問集群cluster_id = clusters_api.get_cluster_by_name (DataSciEng_Service_ClusterName) . get (cluster_id) cluster_code_exec_history = clusters_history_api。get_events (cluster_id unix_start unix_end, ASC,”, 0500) . get (code_execution_history) #即:所有代碼段的曆史/細胞/筆記本電腦上執行指定集群DS&E df = spark.read.json (sc.parallelize (cluster_code_exec_history)) #利潤

[Atanu · Accepted solution]

從UIhttps://docs.m.eheci.com/notebooks/notebooks-code.html版本控製檢查版本控製的最好方法。

順便問一下,你們看到這有幫助//m.eheci.com/blog/2022/11/02/monitoring-notebook-command-logs-static-analysis-tools.ht..。@Cameron麥克弗森嗎?

[rendorHaevyn]

@Atanu Sarkar是的,你的建議將工作,謝謝。