管理集群

顯示集群

查看集群在工作區,點擊計算在側邊欄。

左邊是兩列表示如果集群已經固定,集群的狀態。懸停在地位上獲得更多的信息。

銷一個集群

集群是終止後30天,永久刪除。後保持一個通用的集群配置集群終止超過30天,管理員可以銷集群。100集群可以固定。

管理員可以銷一個集群的集群列表或集群詳細信息頁麵通過點擊銷圖標。

你也可以調用集群API端點以編程方式銷集群。

查看集群配置作為JSON文件

有時它可以幫助查看您的集群配置為JSON。這是特別有用,當你想創建類似的集群使用集群API。當你把現有的集群,去配置選項卡上,單擊JSON在右上角的選項卡中,複製JSON,粘貼到你的API調用。JSON的觀點是隻讀的。

編輯一個集群

您可以編輯UI集群的集群配置細節。你也可以調用集群API端點編輯集群以編程方式。

克隆一個集群

克隆現有集群,選擇克隆從集群的烤肉串菜單(也稱為菜單後按enter鍵)。

選擇克隆後,集群與集群配置創建UI打開預填充。克隆不包括以下屬性:

• 集群的權限

• 安裝庫

• 連接筆記本電腦

控製訪問集群

集群內的訪問控製管理員設置頁麵允許工作區集群管理員給細粒度訪問其他用戶。有兩種類型的集群訪問控製:

• 創建集群許可:工作區管理員可以選擇允許哪些用戶創建集群。

• 集群級別權限:用戶可以管理允許一個集群可以配置是否可以連接到其他用戶,重啟,調整和管理集群。

為一個集群編輯權限,選擇編輯權限從集群的烤肉串菜單。

更多關於集群和集群級別權限訪問控製,明白了集群訪問控製。

終止一個集群

保存集群資源,你可以終止一個集群。終止集群的配置存儲,以便它可以重用(或者,在工作的情況下,自動啟動在稍後的時間。您可以手動終止集群或配置集群在一個指定的靜止期自動終止。當終止集群的數量超過150,最古老的集群被刪除。

除非一個集群固定或者重新啟動,它將自動終止後30天,永久刪除。

終止集群出現在集群列表在左邊的灰色圓集群名稱。

刪除一個集群

刪除一個集群終止集群並刪除它的配置。刪除一個集群,選擇刪除從集群的菜單。

刪除一個固定的集群,它首先必須由管理員拔掉。

你也可以調用集群API端點以編程方式刪除一個集群。

重新啟動集群

你可以重啟之前終止集群的集群列表中,集群細節頁麵,或一個筆記本。你也可以調用集群API端點開始集群以編程方式。

磚使用其獨特標識一個集群集群ID。當你開始終止集群時,磚重新創建集群與相同的ID,自動安裝的所有庫,重新接上筆記本。

筆記本的例子:找到長期運行的集群

如果你是一個工作空間管理,您可以運行一個腳本,它決定了您的每個集群已經運行多長時間,和可選,重啟他們是否超過指定數量的天。磚提供這個腳本作為一個筆記本。

腳本的第一行定義配置參數:

• min_age_output:一個集群的最大天數可以運行。默認值為1。

• perform_restart:如果真正的隨著年齡的增長,腳本重新啟動集群大於規定的天數min_age_output。默認值是假確定了長期運行的集群,但不重新啟動它們。

• secret_configuration:替換REPLACE_WITH_SCOPE和REPLACE_WITH_KEY與一個秘密範圍和關鍵的名字。設置秘密的更多細節,請參閱筆記本。

集群自動啟動工作和JDBC / ODBC查詢

當一個作業分配給集群將終止運行,或者你連接到一個終止集群從JDBC / ODBC接口,自動重新啟動集群。看到創建一個工作和JDBC連接。

集群自動啟動允許您配置集群auto-terminate無需人工幹預重新啟動集群調度工作。此外,你可以通過調度時間表集群的初始化工作終止集群上運行。

前一個集群自動重啟,集群和工作訪問控製權限檢查。

查看集群信息在Apache火花UI

您可以查看詳細信息引發就業選擇火花UI選項卡在集群上的細節頁麵。

如果你重啟終止集群,火花UI顯示信息重新啟動集群,集群沒有終止的曆史信息。

查看集群日誌

磚提供三種日誌相關的活動:

• 集群事件日誌,捕捉集群生命周期事件像創建、終止和配置編輯。

• Apache火花司機和工人日誌,您可以用於調試。

• 集群的初始化腳本日誌,這對於調試init腳本是有價值的。

本節討論集群事件日誌和司機和工人日誌。初始化腳本日誌的詳細信息,請參閱Init腳本日誌。

監視性能

幫助你監測數據磚的性能集群,磚從集群提供指標的細節頁麵。對於磚12.2運行時,下麵的,磚提供訪問權神經節指標。磚運行時13.0及以上,集群指標提供數據磚。

你也可以安裝Datadog代理集群節點上發送Datadog度量Datadog賬戶。

筆記本的例子:Datadog指標

你可以安裝Datadog代理集群節點上發送Datadog度量Datadog賬戶。以下筆記本演示如何安裝一個Datadog代理集群上使用集群級init腳本。

在所有集群安裝Datadog代理,使用全球init腳本後測試集群級init腳本。

解除現貨實例

因為現貨實例可以降低成本,使用現貨實例而不是按需創建集群實例運行作業是一種常見的方法。然而,現貨實例可以由雲提供商搶占調度機製。搶占現貨實例可能導致工作運行的問題,包括:

• 洗牌獲取失敗

• 洗牌數據丟失

• 抽樣數據丟失

• 工作的失敗

您可以啟用退役來幫助解決這些問題。退役利用雲提供商通常發送的通知之前現貨實例退役。當一個現貨實例包含一個執行人收到搶占通知,退役過程將嚐試洗牌和抽樣數據遷移到健康的執行人。最終搶占前的持續時間通常是30秒到2分鍾,這取決於雲提供商。

磚建議啟用數據遷移時退役也啟用。一般來說,錯誤的可能性會減少更多的數據遷移,包括洗牌抓取失敗,數據丟失踱來踱去,抽樣數據丟失。數據遷移也會導致更少的re-computation和節省成本。

啟用退役後,任務失敗造成的現貨實例搶占不添加到失敗的總數。任務失敗造成的搶占不算作失敗因為失敗的原因是外部的任務,不會導致工作失敗。