管理集群
本文描述如何管理數據磚集群,包括顯示、編輯、啟動、終止、刪除、控製訪問和監控性能和日誌。
計算在側邊欄。銷一個集群
集群是終止後30天,永久刪除。保持一個通用的集群配置即使一個集群終止超過30天,管理員可以銷集群。100集群可以固定。
管理員可以銷一個集群的集群列表或集群詳細信息頁麵通過點擊銷圖標。
你也可以調用集群APIAPI端點以編程方式銷一個集群。
查看集群配置作為JSON文件
有時它可以幫助查看您的集群配置為JSON。這是特別有用,當你想創建類似的集群使用集群API。當你查看現有的集群,隻是去配置選項卡上,單擊JSON在右上角的選項卡中,複製JSON,粘貼到你的API調用。JSON視圖才能準備好。
編輯一個集群
您可以編輯UI集群的集群配置細節。你也可以調用集群API端點以編程方式編輯集群。
請注意
筆記本和工作在集群保持連接後編輯。
庫安裝在集群編輯後繼續安裝。
如果您的編輯任何屬性運行集群(集群的規模和權限除外),您必須重新啟動它。這可以破壞用戶目前使用集群。
您可以編輯隻運行或終止集群。但是,您可以更新權限為集群並不在這些州在集群上的細節頁麵。
控製訪問集群
集群內的訪問控製管理員設置頁麵允許工作區集群管理員給細粒度訪問其他用戶。有兩種類型的集群訪問控製:
創建集群許可:工作區管理員可以選擇允許哪些用戶創建集群。
集群級別權限:用戶可以管理允許一個集群可以配置是否可以連接到其他用戶,重啟,調整和管理集群。
為一個集群編輯權限,選擇編輯權限從集群的
烤肉串菜單。
更多關於集群和集群級別權限訪問控製,明白了集群訪問控製。
終止一個集群
保存集群資源,你可以終止一個集群。終止集群的配置存儲,以便它可以重用(或者,在工作的情況下,自動啟動在稍後的時間。您可以手動終止集群或配置集群指定的靜止期後自動終止。當終止集群的數量超過150,最古老的集群被刪除。
除非一個集群固定或者重新啟動,它將自動終止後30天,永久刪除。
終止集群出現在集群列表在左邊的灰色圓集群名稱。
自動終止
您還可以設置自動終止一個集群。在創建集群的過程中,你可以在幾分鍾內指定一個靜止期之後,你想要終止的集群。
如果當前時間和最後一個命令的區別在集群上運行超過指定的靜止期,磚自動終止集群。
集群被認為是不活躍的,當所有命令的集群,包括火花工作,結構化流,和JDBC調用,執行完成。
警告
集群不活動造成DStreams的使用報告。這意味著一個autoterminating集群可能DStreams運行時終止。關掉自動終止為集群運行DStreams或考慮使用結構化的流。
自動終止功能顯示器隻有火花工作,而不是用戶定義的局部流程。因此,如果所有火花工作已經完成了,一個集群可以終止,即使局部流程正在運行。
閑置集群持續積累DBU和雲實例指控不活動期間在終止之前。
刪除一個集群
刪除一個集群終止集群並刪除它的配置。刪除一個集群,選擇刪除從集群的烤肉串菜單。
警告
你不能取消這個行動。
刪除一個固定的集群,它首先必須由管理員拔掉。
你也可以調用集群API端點以編程方式刪除一個集群。
重新啟動集群
你可以重啟之前終止集群的集群列表中,集群細節頁麵,或一個筆記本。你也可以調用集群API端點以編程方式啟動一個集群。
磚使用其獨特標識一個集群集群ID。當你開始終止集群時,磚重新創建集群與相同的ID,自動安裝的所有庫,重新接上筆記本。
集群自動啟動工作和JDBC / ODBC查詢
當一個作業分配給集群將終止運行,或者你連接到一個終止集群從JDBC / ODBC接口,自動重新啟動集群。看到創建一個工作和JDBC連接。
集群自動啟動允許您配置集群autoterminate無需人工幹預重新啟動集群調度工作。此外,你可以通過調度時間表集群的初始化工作終止集群上運行。
請注意
如果您的集群成立於磚平台版本2.70或更早,沒有自動啟動:工作計劃終止集群上運行就會Beplay体育安卓版本失敗。
重新啟動集群更新最新的圖片
當你重新啟動集群,它得到了計算資源的最新圖像容器和VM主機。特別重要的是定期重啟對於長時間運行的集群如用於處理流數據。
你有責任定期重啟所有計算資源以保持圖像最新的圖像的版本。
重要的
如果你使合規安全概要你的帳戶或工作區,長時間運行的集群自動重啟後25天。磚建議工作區管理員手動重新啟動集群在一個預定的維護窗口。這樣可以減少雙方的風險破壞計劃的工作。
如果你的工作空間的一部分集群的公共預覽自動更新,25日限製並不適用。重新啟動集群隻有需要在預定的維護窗口。
運行一個腳本,它決定了你多少天集群運行,並選擇重新啟動它們
如果你是一個工作空間管理,您可以運行一個腳本,它決定了您的每個集群已經運行多長時間,和可選重啟他們是否超過指定數量的天。磚提供這個腳本作為一個筆記本。
請注意
如果你的工作空間的一部分集群的公共預覽自動更新,你可能不需要這個腳本。集群自動重新啟動期間如果需要預定的維護窗口。
腳本的第一行定義配置參數:
min_age_output:一個集群的最大天數可以運行。默認值為1。perform_restart:如果真正的隨著年齡的增長,腳本重新啟動集群大於規定的天數min_age_output。默認值是假確定了長期運行的集群,但不重新啟動它們。secret_configuration:替換REPLACE_WITH_SCOPE和REPLACE_WITH_KEY與一個秘密範圍和關鍵的名字。設置秘密的更多細節,請參閱筆記本。
警告
如果你設置perform_restart來真正的,腳本自動重啟合格的集群,它可以導致積極的工作失敗,重新打開筆記本。減少的風險,擾亂你的工作空間的關鍵業務工作,計劃一個預定的維護窗口,一定要通知用戶工作區。
查看集群日誌
磚提供三種日誌相關的活動:
集群事件日誌,捕捉集群生命周期事件像創建、終止和配置編輯。
Apache火花司機和工人日誌,您可以用於調試。
集群的初始化腳本日誌,這對於調試init腳本是有價值的。
本節討論集群事件日誌和司機和工人日誌。初始化腳本日誌的詳細信息,請參閱Init腳本日誌。
集群事件日誌
集群事件日誌顯示重要的集群生命周期事件由用戶操作手動或自動觸發的磚。此類事件影響整個集群的操作和運行在集群的工作。
所支持的事件類型,請參閱集群API數據結構。
事件存儲60天,這是與其他數據保留時間在磚。
集群的司機和工人日誌
從你的筆記本電腦直接打印和日誌語句,工作,和圖書館去引發司機日誌。您可以訪問這些日誌文件的司機日誌選項卡在集群上的細節頁麵。點擊下載日誌文件的名稱。
這些日誌有三個輸出:
標準輸出
標準錯誤
Log4j日誌
查看火花工作日誌,您可以使用火花UI選項卡。你也可以配置日誌交付地點集群。工人和集群日誌都是送到您所指定的位置。
