創建一個池
本文描述了如何創建一個使用UI池。學習如何使用磚CLI創建一個池塘,看到的實例池CLI(遺留)。學習如何使用REST API來創建一個遊泳池,看到實例池API。
需求
你必須允許創建一個池;看到池的訪問控製。
我的角色用來創建你的磚賬戶需要以下權限的訪問策略:
{“行動”:(“ec2: AssociateIamInstanceProfile”,“ec2: DescribeIamInstanceProfileAssociations”,“ec2: DisassociateIamInstanceProfile”,“ec2: ReplaceIamInstanceProfileAssociation”,“ec2: DeleteTags”]}
完整列表的權限和說明如何更新您的現有我角色或鑰匙,明白了為工作區部署創建了我的角色。
如果我沒有這些權限的角色,您將無法啟動集群連接池中。
計算在側邊欄。一個集群附加到池中
連接池使用集群集群創建UI,選擇的池驅動程序類型或工作類型下拉時配置集群。可用池列出每個下拉列表的頂部。可以使用相同的池或不同池司機節點和工作節點。
如果你使用集群API,您必須指定driver_instance_pool_id司機節點和instance_pool_id為職工節點。
池的大小和自動終止
當您創建一個池,以控製其大小,您可以設置三個參數:最小空閑的情況下,最大容量,空閑實例自動終止。
最大容量
實例池可以提供的最大數量。如果設置,這個值限製所有實例(閑置+使用)。如果一個集群使用池比這個數字在實例請求自動定量,請求失敗INSTANCE_POOL_MAX_CAPACITY_FAILURE錯誤。
這個配置是可選。磚建議設置一個值隻有在下列情形之一:
你有一個實例配額必須保持下。
你想保護一組工作影響另一組的工作。例如,假設您的實例配額是100,你有團隊A和B,需要運行工作。您可以創建池馬克斯50和池B與馬克斯50這兩隊分享100配額相當。
你需要帽子的成本。
空閑實例自動終止
上麵的時間在幾分鍾內中設置的值最小空閑實例實例可以空閑池之前終止。
實例類型
池由空閑讓準備新集群實例和實例在運行使用集群。所有這些實例提供者類型相同的實例,選擇在創建池。
池的實例類型不能被編輯。集群連接池使用相同的實例類型的司機和工人節點。不同家庭的實例類型適合不同的用例,如內存密集型或計算密集型工作負載。
磚都提供一年的棄用通知之前停止支持類型的一個實例。
加載數據磚運行時版本
可以通過選擇一個磚加快集群啟動運行時版本被加載到池中空閑實例。如果用戶選擇運行時創建一個集群支持的池時,集群將推出更迅速比pool-backed集群不使用預加載數據磚的運行時版本。
設置這個選項沒有一個減緩集群啟動,因為它使磚的運行時版本的下載需求池中空閑實例。當集群釋放實例池中,磚運行時版本仍然是這些實例的緩存。下一個集群創建操作使用相同的磚運行時版本可能受益於這種緩存行為,但這是沒有保證的。
池標簽
池標簽允許您方便地監視各種團體所使用的雲資源的成本在你的組織中。您可以指定標簽作為鍵值對,當你創建一個池,和磚這些標簽適用於雲資源的虛擬機磁盤卷,以及DBU使用報告。
為了方便起見,磚三個默認的標簽適用於每個池:供應商,DatabricksInstancePoolId,DatabricksInstancePoolCreatorId。您還可以添加自定義標簽當您創建一個池。您可以添加多達43個定製標記。
自定義標記
額外的標簽添加到池中,導航到選項卡選項卡底部的創建池頁麵。單擊+添加按鈕,然後輸入鍵-值對。
Pool-backed集群繼承違約和自定義標記從池中配置。的詳細信息集群池標簽和標簽一起工作,如何看使用集群和池監控使用標簽。
AWS的配置
當您配置一個池的AWS實例可以選擇可用性區域(AZ),是否使用現貨實例和馬克斯現貨價格,和EBS卷類型和大小。所有集群連接池繼承這些配置。
可用性區域
選擇一個特定的阿茲池主要是有用的,如果您的組織購買了保留的實例在特定的可用性區域。有關阿茲的更多信息,請參閱AWS可用性區域。
Auto-AZ與池
如果您使用一個艦隊池實例類型,您可以選擇汽車可用性區域。當您使用auto-AZ時,將自動選擇可用性區域,根據可用的雲提供商的能力。池將搬到最好的阿茲在每個scale-up-from-zero事件之前,並將保持固定單個AZ在池非空。有關更多信息,請參見啟動與艦隊實例的集群類型。
你附加到一個集群池繼承池的可用性區域。你不能指定單個集群的可用性區域池。
現貨實例
你可以指定你是否希望池使用現貨實例。池可以是所有現貨實例或按需實例。
你也可以設置最大現貨價格時使用啟動實例。這是設置的比例相應的隨需應變的價格。默認情況下,磚設置最大的現貨價格在隨需應變的價格的100%。看到AWS現貨價格。
EBS卷
磚規定EBS卷為每個實例如下:
根卷30 GB的未加密的EBS實例使用的主機操作係統和磚內部服務。
一個150 GB的加密EBS容器所使用的根卷引發工人。這個主機火花服務日誌。
(HIPAA) 75 GB加密EBS工人日誌卷存儲日誌數據磚內部服務。
添加改組EBS卷
添加洗牌卷,選擇通用SSD在EBS卷類型下拉列表。
默認情況下,火花洗牌輸出到本地磁盤。例如類型沒有本地磁盤,或者如果你想增加你的火花洗牌存儲空間,您可以指定額外的EBS卷。這是特別有用的防止磁盤空間的錯誤當您運行火花產生大洗牌的工作輸出。
磚加密這些EBS卷的隨需應變和現貨實例。閱讀更多關於AWS EBS卷。
AWS EBS限製
確保你的AWS EBS限製高到足以滿足所有實例的運行時要求在所有池。對於信息默認EBS限製以及如何改變它們,看到的亞馬遜彈性塊存儲(EBS)的限製。
自動定量本地存儲
如果你不想分配一個固定數量的EBS卷在創建池時,使用自動定量本地存儲。自動定量本地存儲,數據磚監視器的空閑磁盤空間可用池的火花工人。如果一個工人開始在磁盤上運行過低,磚自動高度新EBS卷的工人之前耗盡磁盤空間。EBS卷附加到一個極限5 TB的總磁盤空間的每個實例(包括實例的本地存儲)。
配置自動定量儲存、選擇啟用自動定量本地存儲。
EBS卷附加到一個實例隻分離時返回給AWS實例。EBS卷,永遠不會脫離隻要實例池中。縮減EBS用法,磚推薦配置池的大小和自動終止。
請注意
磚使用吞吐量的優化硬盤(死神)來擴展一個實例的本地存儲。的默認AWS容量限製這些數量是20 TiB。為了避免觸及這個極限,管理員應該請求增加這個極限根據自己的使用需求。
如果你想使用自動定量本地存儲,我角色或鍵用於創建您的帳戶必須包括的權限
ec2: AttachVolume,ec2: CreateVolume,ec2: DeleteVolume,ec2: DescribeVolumes。完整列表的權限和說明如何更新您的現有我角色或鑰匙,明白了為工作區部署創建了我的角色。
池頁麵圖標操作。如果你刪除一個池: