一個標準集群為單個用戶推薦——是什麼意思?

[Tahseen0354]

你好,我已經看到它寫在文檔標準集群為單個用戶推薦。但是為什麼呢?是什麼意思?我和我的一個同事測試相同的筆記本。我們可以使用相同的標準通用集群在同一時間在同一個筆記本。隻是我們不能同時執行相同的細胞但這是相當正常的。

但是如果兩個人可以使用相同的標準通用集群在同一時間在同一個筆記本,為什麼單用戶的建議?這是否意味著我們應該選擇高並發集群多人合作時在同一時間在同一個筆記本為簡單的數據讀寫實驗嗎?

[Atanu]

• 標準集群是處理大量數據的理想與Apache火花。我們嘴尖為單個用戶使用標準的集群,因為它要處理負載比較高的集群。
• 高並發性集群非常適合用戶組需要共享資源或臨時工作運行。管理員通常創建高並發性集群。高並發性集群的主要好處是,他們提供了Apache Spark-native細粒度共享最大的資源利用率和最小查詢延遲。
• 你可以通過這個最佳實踐可以幫助https://docs.m.eheci.com/clusters/cluster-config-best-practices.html

[Tahseen0354]

感謝你您的回複。所以我認為這是有關如何處理負載,沒有多少用戶正在使用集群。

[Hubert_Dudek1 · Accepted solution]

高並發集群隻是分裂用戶之間資源更均勻。所以當4個人筆記本電腦運行在同一時間在集群與4個cpu可以想象,每一個cpu。

在標準集群1人可以利用所有工人cpu作為你的工作有多個分區(例如4)所以需要多核cpu進程(1 1一次分區所有4 cpu將很忙處理4分區)所以其他用戶的工作隊列中等待,直到你的工作完成。

在集群標準還可以維護資源配置在筆記本級別使用池。設置sparkContext屬性在筆記本的第一行:

spark.sparkContext.setLocalProperty (“spark.scheduler。池”、“pool1”)

[Tahseen0354]

感謝你您的回複。現在更有意義。