火花曆史服務器可以創建在磚嗎?

[vladcrisan]

我們有一個火花管道生產超過3 k火花工作。管道完成後和集群關閉,隻有一個子集(< 1 k)可以從火花UI中恢複過來。

我們想要獲得完整的火花UI管道終止和集群後關閉。這是性能監控的目的。有可能部署一個火花曆史服務器數據磚?如果不是,你建議的方法是什麼?

[Debayan]

嗨@Vlad Crisan,到目前為止,一個工作區僅限於1000個並發運行的工作。429年返回太多的請求響應請求運行時不能立即開始。就業人數工作區可以創建在10000年一個小時是有限的(包括”提交”)。

https://docs.m.eheci.com/workflows/jobs/jobs.html create-run-and-manage-databricks-jobs

增加就業限製在一個工作區中您可以參考下圖:

https://docs.m.eheci.com/administration-guide/workspace/enable-increased-jobs-limit.html

[vladcrisan]

嗨@Debayan穆克吉我的問題是關於火花工作在一個集群的總數和如何檢索這些火花UI集群後關閉,而不是並發工作的數量。具體的例子:如果一個筆記本一個集群上運行生產(如順序)總共3 k工作,底層集群關閉後,我隻能夠看到火花UI中大約有1 k的工作。我的問題是如果有一種方法可以恢複所有工作引發的UI。

[Hubert_Dudek1]

這取決於你需要的數據。它可以與datadog集成https://www.datadoghq.com/blog/databricks-monitoring-datadog/

您還可以將日誌重定向到Azure analitycs。

[vladcrisan]

我想恢複火花UI中顯示的所有信息。Datadog是個好建議,但不幸的是我們不能在我們的應用程序中使用外部服務。Azure分析將是一個選擇,但我找不到任何參考展示如何恢複完整的火花UI。