最佳實踐:集群政策

嚴格的環境

在一個環境中,用戶沒有權限創建集群,首先推出限製性政策以及為用戶實施計劃。實施計劃可能是基於計算機的培訓、研討會或文檔。為用戶提供指導配置集群的最佳實踐將改善他們充分利用平台的能力。Beplay体育安卓版本政策可以輕鬆為用戶演示合規和能力的平台。Beplay体育安卓版本

不受限製的環境

運用政策可以在一個不受限製的環境更具挑戰性。一些現有的用例和集群將幾乎總是超出新政策的約束,所以識別這些測試或軟推廣階段是至關重要的。

集群創建權限或訪問用戶提供無限製的政策將維持他們的訪問整個軟推出這個政策,確保所有工作負載繼續函數。用戶應使用軟推出來測試他們所有的工作負載的新政策將可用。

一定要給用戶一個地方提交反饋有關政策。與用戶合作,完善政策或定義新的政策出現問題時。

挑戰

用戶可以自由創建集群,沒有機製來執行,他們應用所需的標記。

解決方案

1. 撤銷集群創建權限從用戶。

2. 添加一個集群標記規則的任何適用的集群政策。添加集群標簽規則政策,使用custom_tags。<標記名稱>屬性。一個下的值可以是任何東西無限的政策,也可以是受限製的固定,允許列表,塊列表,正則表達式,或範圍政策。例如,以確保正確的退款和成本歸因,執行COST_CENTER標簽在每個政策限製的列表允許成本中心值:

   {“custom_tags.COST_CENTER”:{“類型”:“allowlist”,“價值觀”:【“9999”,“9921”,“9531”]}}

   任何用戶使用該策略必須填寫COST_CENTER標簽與9999、9921或9531的集群啟動。

3. 集群政策分配給用戶應該能夠指控這三個成本中心。政策可以通過指定一個用戶或組水平集群政策UI或者是補丁/權限/ cluster-policies / {cluster_policy_id}端點。下麵的示例請求主體分配銷售部門的政策:

   {“access_control_list”:({“user_name”:“user@mydomain.com”,“all_permissions”:({“permission_level”:“CAN_USE”}]},{“group_name”:“銷售”,“all_permissions”:({“permission_level”:“CAN_USE”}]}]}

挑戰

用戶不熟悉集群或雲基礎設施供應或不知所措集群創建選項。

解決方案

使用集群政策來定義“t恤”大小的集群配置,例如,小,中型或大型集群。

1. 創建一個策略對於每一個t恤的大小。t恤集群政策表示一個相對大小的用戶,可以靈活的模板或零選項配置。零政策往往會選擇或低選項固定和隱藏的策略規則。下麵的例子定義了一個政策DBR 7.3的固定值spark_version。設置隱藏的國旗為真時將確保這個選項對用戶來說是不可見的。

   {“spark_version”:{“類型”:“固定”,“價值”:“汽車:latest-ml”,“隱藏”:真正的}}

   當定義靈活的模板,您可以使用範圍,塊列表,塊列表,正則表達式,無限的政策政策製定上邊界,可選的字段和semi-restricted策略元素。下麵的例子定義了一個政策,允許自動定量節點最多25。您可以使用這個定義每個t恤上邊界大小,同時提供一些靈活性。看到更多的細節,一個集群模板方法,明白了過度的資源使用情況。

   {“autoscale.max_workers”:{“類型”:“範圍”,“執行”:“25”,“defaultValue”:5}}

2. 分配政策應該允許用戶創建的t恤的集群。政策可以被指定在一個用戶或組級別通過集群政策UI API或集群政策權限。例如,將這一政策分配給所有用戶通過UI:

   1. 集群政策和選擇編輯。

   2. 選擇權限選項卡。

   3. 選擇所有用戶選擇下組下拉。

      

3. 撤銷訪問組的不受限製的政策,必須使用這些新政策。一旦使用的集群政策,獲得“集群創建”權限給用戶訪問不受限製的政策。撤銷這允許用戶很重要,不應該。

   撤銷集群創建權限,明白了配置集群創建權限。

挑戰

一些工作負載或分析不符合現行政策,或用戶不知道正確的集群配置對某些工作負載類型。

解決方案

如果你覺得工作不好的工作負載與現有政策,通常是更好的創建新的政策專門針對這些工作負載,而不是擴大現有的政策。

幫助用戶創建集群使用這些策略,它能幫助創建策略針對特定的用例。描述性名稱分配給這些政策來幫助用戶識別它們。例如,如果工作負載將查詢數據源支持謂詞下推,一個最佳實踐是建立一個特定的政策,執行自動定量較低或零工人最低。這一政策將確保雲提供商和磚的成本不不必要的增長在等待數據源來計算查詢的下推組件。

1. 創建一個策略,強製使用特定的最佳實踐。這個例子定義了一個政策,有一個固定的值0最小數量的工人。這一政策同時執行,集群將自動定量,滿足謂詞下推的例子的最佳實踐。

   {“autoscale.min_workers”:{“類型”:“固定”,“價值”:“0”,“隱藏”:假}}

2. 分配政策以用戶需要為這些用例構建集群。你可以在用戶或組分配政策的水平集群政策UI或者是權限API 2.0。例如,分配這一政策通過UI數據科學家小組:

   1. 集群政策和選擇編輯。

   2. 選擇權限選項卡。

   3. 分配政策到一個特定的團隊,選擇團隊的名字選擇用戶或組下拉。

      

挑戰

用戶創建不必要的大型集群,消費過度和昂貴的資源。這通常是由於:

• 未能激活自動定量。

• 不正確的使用汽車終端窗口。

• 高最低工人節點計數。

• 昂貴的實例類型。

解決方案

集群政策搭配內部審批流程將使控製資源,必要時還提供大型計算資源。

1. 建立一個審查過程授予訪問更大或更靈活的政策。評審過程應該攝入形式,收集信息,支持更大或更靈活的集群配置的必要性。平台所有Beplay体育安卓版本權團隊應該評估這些信息來決定如何支持工作負載需求。下圖展示了一個例子使用t恤分級審批流程:

   

2. 創造更靈活的用更少的約束和政策關注控製治理標簽之類的東西。一個靈活的政策的例子:

   . .aws:

   ' ' ' json{”自動定量。min_workers”:{“類型”:“範圍”、“執行”:20,“defaultValue”: 2},“自動定量。max_workers”:{“類型”:“範圍”、“執行”:100年,“defaultValue”: 8},“autotermination_minutes ":{“類型”:“範圍”、“執行”:120年,“defaultValue”: 60},“node_type_id”:{“類型”:“過濾清單”,“值”:[" z1d。12個超大”、“z1d。6 xlarge”、“r5d。16個超大”、“r5a。24 xlarge”、“i4i。32 xlarge”),“defaultValue”:“i3。超大“}”,driver_node_type_id”:{“類型”:“過濾清單”,“值”:[" z1d。12個超大”、“z1d。6 xlarge”、“r5d。16個超大”、“r5a。24 xlarge”、“i4i。32 xlarge”),“defaultValue”:“i3。超大“}”,spark_version”:{“類型”:“固定”,“價值”:“汽車:latest-ml”、“隱藏”:真正的},“enable_elastic_disk ":{“類型”:“固定”,“價值”:真的,“隱藏”:真正的},“custom_tags。團隊”:{“類型”:“固定”,“價值”:“產品”}}’‘. .azure:: ' ' ' json{”自動定量。min_workers": { "type": "range", "maxValue": 20, "defaultValue": 2 }, "autoscale.max_workers": { "type": "range", "maxValue": 100, "defaultValue": 8 }, "autotermination_minutes": { "type": "range", "maxValue": 120, "defaultValue": 60 }, "node_type_id": { "type": "blocklist", "values": ["Standard_E16s_v3", "Standard_E64as_v4", "Standard_E96as_v4", "Standard_E48as_v4"], "defaultValue": "Standard_L8s" }, "driver_node_type_id": { "type": "blocklist", "values": ["Standard_E16s_v3", "Standard_E64as_v4", "Standard_E96as_v4", "Standard_E48as_v4"], "defaultValue": "Standard_L8s_v2" }, "spark_version": { "type": "fixed", "value": "auto:latest-ml", "hidden": true }, "enable_elastic_disk": { "type": "fixed", "value": true, "hidden": true }, "custom_tags.team": { "type": "fixed", "value": "product" } } ```

3. 文檔升級和審批流程,與用戶分享。也有助於發布指導識別類型的工作負載,可能需要更大的靈活性或更大的集群。

4. 一旦批準了一個用戶,分配政策。政策可以在用戶或組分配的水平集群政策UI或提交一個請求權限API 2.0:

   {“access_control_list”:{“user_name”:“users_email@yourdomain.com”,“permission_level”:“CAN_USE”}}