自定義容器磚容器服務

選項1。使用磚建造的基地

下麵的例子使用了9.倍標記為一個圖像目標集群運行時磚的運行時版本9.0及以上:

從databricksruntime /標準:9。x……

指定額外的Python庫,如熊貓和urllib的最新版本,使用特定容器的版本皮普。為datatabricksruntime /標準:9. x容器,包括以下:

運行/磚/ python3 / bin / pip安裝熊貓運行/磚/ python3 / bin / pip安裝urllib3

為datatabricksruntime /標準:8. x容器或低,包括以下:

運行/磚/ conda / env / dcs-minimal / bin / pip安裝熊貓運行/磚/ conda / env / dcs-minimal / bin / pip安裝urllib3

基本圖像是托管在碼頭工人在中心https://hub.docker.com/u/databricksruntime。這些基地在Dockerfiles用於生成https://github.com/databricks/containers。

第二個選項。構建自己的碼頭工人的基礎

你也可以從頭開始構建自己的碼頭工人基地。碼頭工人形象必須滿足這些要求:

• JDK 8 u191 Java係統上路徑

• bash

• iproute2 (ubuntu iproute)

• coreutils (ubuntu coreutils)

• procps (ubuntu procps)

• sudo (ubuntu sudo)

• Ubuntu Linux

從頭開始構建自己的形象,您必須創建虛擬環境。您還必須包括包磚內置集群,如Python和r .開始,您可以使用適當的基本形象:

• R:databricksruntime / rbase

• Python:databricksruntime / python

• 最小的圖像由磚:databricksruntime /最小

你也可以參考的例子在GitHub Dockerfiles。

啟動集群使用UI

1. 在創建集群頁麵指定一個磚運行時版本,支持數據磚容器服務。

2. 下高級選項,選擇碼頭工人選項卡。

3. 選擇使用自己的碼頭工人容器。

4. 在碼頭工人圖像URL字段中,輸入您的自定義碼頭工人的形象。

   碼頭工人圖像URL示例:

   注冊表	標簽格式
   碼頭工人中心	<組織> / <庫>:<標記>(例如:databricksruntime /標準:最新)
   亞馬遜ECR	< aws-account-id > .dkr.ecr。<地區>.amazonaws.com/ <庫>:<標記>
   Azure容器注冊表	< your-registry-name > .azurecr.io / <存儲庫名>:<標記>

5. 選擇身份驗證類型。

啟動集群使用API

1. 生成一個API令牌。

2. 使用集群API啟動與定製碼頭工人的集群基地。

   curl - x - h後“授權:無記名<標記>”https:// < databricks-instance > / api / 2.0 /集群創建- d”{“cluster_name”:“<集群名稱>”,“num_workers”: 0,:“node_type_id i3.xlarge”," docker_image ": {“url”:“最新databricksruntime /標準:”," basic_auth ": {“用戶名”:“< docker-registry-username >”,“密碼”:“< docker-registry-password >”}},:“spark_version 7.3.x-scala2.12”," aws_attributes ": {“可用性”:“ON_DEMAND”,:“instance_profile_arn攻擊:aws:我::< aws-account-number >: instance-profile / < iam-role-name >”}}'

   basic_auth需求取決於你的碼頭工人形象類型:

   • 對於公共碼頭工人的圖像,不包括basic_auth字段。

   • 私人碼頭工人的圖像,你必須包括basic_auth字段中,使用一個服務主體ID和密碼作為用戶名和密碼。

   • Azure容器注冊,你必須設置basic_auth場服務主體的ID和密碼。看到Azure容器注冊中心服務主體身份驗證文檔創建信息服務主體。

   • 對於亞馬遜ECR的圖像,不包括basic_auth字段。你必須用一個啟動集群實例配置文件包括權限將碼頭工人圖像從圖像所在的碼頭工人存儲庫。要做到這一點,跟進步驟3和步驟4的過程設置安全訪問S3 bucket使用實例配置文件。

     這是我的一個例子的角色,允許將任何圖像。指定存儲庫< arn-of-repository >。

     {“版本”:“2012-10-17”,“聲明”:({“效應”:“允許”,“行動”:(“ecr: GetAuthorizationToken”),“資源”:“*”},{“效應”:“允許”,“行動”:(“ecr: BatchCheckLayerAvailability”,“ecr: GetDownloadUrlForLayer”,“ecr: GetrepositoryPolicy”,“ecr: DescribeRepositories”,“ecr: ListImages”,“ecr: DescribeImages”,“ecr: BatchGetImage”),“資源”:(“< arn-of-repository >”]}]}

     如果亞馬遜ECR形象駐留在不同的比磚集群的AWS帳戶,使用一個ECR庫政策除了授予磚集群的集群實例配置文件的訪問。這裏的一個例子是一個ECR庫政策。我認為集群的角色實例配置文件指定< arn-of-IAM-role >。

     {“版本”:“2012-10-17”,“聲明”:[{“席德”:“AllowCrossAccountPush”,“效應”:“允許”,“校長”:{“AWS”:“< arn-of-IAM-role >”},“行動”:(“ecr: BatchCheckLayerAvailability”,“ecr: BatchGetImage”,“ecr: DescribeImages”,“ecr: DescribeRepositories”,“ecr: GetDownloadUrlForLayer”,“ecr: GetrepositoryPolicy”,“ecr: ListImages”]})}