磚起程拓殖的提供者

HashiCorp起程拓殖是一個很受歡迎的開放源代碼工具用於創建安全、可預測的跨多個雲提供商的雲基礎設施。您可以使用磚起程拓殖的提供者來管理你的磚工作區和相關的雲基礎設施的使用靈活,強大的工具。磚起程拓殖的提供者的目標是支持所有磚REST api,支持最複雜的自動化方麵的部署和管理您的數據平台。Beplay体育安卓版本磚客戶使用磚起程拓殖的beplay体育app下载地址提供者的部署和管理集群和就業,提供數據磚工作區,配置數據訪問。

起程拓殖資源關係

實驗

磚起程拓殖的提供者並不正式支持的磚或AWS。它是由磚領域的工程團隊和提供。沒有服務水平協議(SLA)。磚和AWS使沒有任何形式的擔保。如果你發現一個問題與提供者、文件GitHub的問題,它在時間允許的情況下將由項目維護人員進行審查。

開始

完成以下步驟來安裝和配置起程拓殖需要操作的命令行工具。這些工具包括磚CLI,起程拓殖CLI,AWS CLI。設置這些工具後,完成的步驟創建一個基礎起程拓殖配置之後,您可以使用來管理你的磚工作區和相關的AWS雲基礎設施。

請注意

這個過程假定您擁有訪問磚磚管理工作區,獲得相應的AWS帳戶,和適當的權限你想起程拓殖AWS帳戶來執行。有關更多信息,請參見如下:

  1. 創建一個磚個人訪問令牌允許起程拓殖叫磚內的磚api的帳戶。有關詳細信息,請參見身份驗證使用磚個人的訪問令牌。

  2. 安裝磚命令行界麵(CLI),然後配置和你的磚磚CLI的個人訪問令牌運行磚配置——令牌——簡介<概要名稱>命令創建一個連接配置文件數據磚個人訪問令牌。取代<概要名稱>為這個連接配置文件與一個唯一的名稱。詳情,請參閱“設置身份驗證”和“連接配置文件”部分磚CLI。

    磚配置——令牌的概要文件<概要文件名稱>

    提示

    每個磚個人訪問令牌是磚賬戶關聯到一個特定的用戶。運行磚配置——令牌——簡介<概要名稱>命令(替換<概要名稱>與一個唯一的名稱)為每個磚個人訪問令牌,你想讓起程拓殖可以使用。

  3. 安裝起程拓殖CLI。有關詳細信息,請參見下載起程拓殖在起程拓殖網站上。

  4. 創建一個AWS訪問密鑰,由一個AWS密鑰和一個AWS秘密訪問密鑰。有關詳細信息,請參見管理訪問鍵(控製台)在AWS網站上。

  5. 安裝AWS CLI,然後配置AWS CLI AWS訪問密鑰通過運行aws配置——簡介<概要名稱>命令。取代<概要名稱>為這個連接配置文件與一個唯一的名稱。有關詳細信息,請參見安裝、更新和卸載AWS CLI版本2和快速配置與aws配置在AWS網站上。

    aws配置,配置文件<概要文件名稱>

    提示

    每個AWS訪問關鍵用戶與一個特定的我在一個AWS帳戶。運行aws配置——簡介<概要名稱>命令(替換<概要名稱>與一個唯一的名稱)為每一個AWS訪問密鑰,您想要起程拓殖可以使用。

    這個過程使用AWS CLI,連同一個共享憑證/配置文件的默認位置,進行身份驗證。選擇身份驗證選項,請參閱身份驗證在起程拓殖注冊網站上。

  6. 在終端中,創建一個空目錄,然後切換到它。(每個單獨的組起程拓殖配置文件必須在自己的目錄中)。例如:mkdirterraform_demo& &cdterraform_demo。

    mkdir terraform_demo& &cdterraform_demo

  7. 在這個空目錄中,創建一個文件命名main.tf。將以下內容添加到這個文件,然後保存文件:

    變量“aws_connection_profile”{描述= " AWS連接配置文件的名稱使用。”類型= string默認= < AWS連接配置文件名稱>”}變量“aws_region”={描述的代碼AWS地區使用。”類型=字符串的默認= " < AWS區域碼>”}變量“databricks_connection_profile”={描述“磚連接配置文件的名稱使用。”類型= string默認= <磚連接配置文件名稱>”}起程拓殖{required_providers {AWS = ={來源“hashicorp / AWS”version = " ~ > 3.27”}磚={源=“databrickslabs /磚"}}}提供者“AWS”{profile = var.aws_connection_profile地區= var.aws_region}提供者“磚”{profile = var.databricks_connection_profile}

  8. 替換以下值main.tf文件,然後保存文件:

    • 取代< AWS連接配置文件名稱>與AWS連接配置文件的名稱前麵創建在步驟5。

    • 取代< AWS地區代碼>AWS的代碼區域起程拓殖使用(例如,你想要的us-west-2)。

    • 取代<磚連接配置文件名稱>磚連接配置文件的名稱,您在前麵創建的步驟2。

  9. 包含初始化工作目錄main.tf文件通過運行起程拓殖初始化命令。有關更多信息,請參見命令:初始化在起程拓殖網站上。

    起程拓殖init

    起程拓殖下載aws和磚供應商和安裝在一個隱藏的當前工作目錄的子目錄,命名.terraform。的起程拓殖初始化命令打印出該版本的提供者被安裝。起程拓殖還創建了一個鎖文件命名.terraform.lock.hcl它指定的提供者版本使用,這樣你可以控製當你想更新供應商用於你的項目。

  10. 應用更改需要達到所需的配置通過運行狀態起程拓殖應用命令。有關更多信息,請參見命令:在起程拓殖網站上。

    起程拓殖應用

    因為沒有資源還沒有被指定的main.tf文件,輸出應用完成了!資源:0補充說,0改變,0摧毀。同時,起程拓殖寫數據到一個文件中terraform.tfstate。創建資源,繼續示例配置,下一個步驟,或雙方指定所需的資源來創建,然後運行起程拓殖應用再次命令。起程拓殖存儲id和資源管理的屬性terraform.tfstate文件,因此它可以更新或破壞這些資源。

示例配置

完成以下步驟來創建一個起程拓殖配置示例創建一個筆記本和一個筆記本的運行工作,在現有數據磚工作區。

請注意

下麵的示例起程拓殖配置隻與一個現有交互數據磚工作區。因此,運行這個示例不需要配置AWS CLI,你也一樣main.tf文件需要包含的變量aws_connection_profile,aws_region,或者是aws提供者。

  1. 結束的時候main.tf您創建的文件開始添加以下代碼:

    變量“resource_prefix”{描述= "前綴命名時使用筆記本和工作”類型= string默認=“terraform-demo”}變量“email_notifier”={描述“郵件地址發送工作地位”類型=(字符串)默認列表=(“<您的電子郵件地址>”)}/ /得到磚用戶調用的信息/ /磚API(與“databricks_connection_profile”)有關。數據“databricks_current_user”“我”{}/ /創建一個簡單的示例的筆記本。存儲在子文件夾內/ /磚當前用戶的文件夾。筆記本包含/ /以下基本的火花在Python代碼。資源“databricks_notebook””這個“= " $ {data.databricks_current_user.me.home} /{路徑起程拓殖/ $ {var.resource_prefix}筆記本。ipynb PYTHON“語言= content_base64 = base64encode(< <測試結束#創建從$ {abspath (path.module)}顯示(spark.range(10))測試結束)}/ /創建一個工作來運行示例筆記本。這項工作將創建/ /一個集群上運行。/ /可用的集群將使用最小的節點類型和運行最新版本的火花。/ /得到最小的可用節點類型用於集群。選擇/ /隻與本地存儲中可用的節點類型。 data "databricks_node_type" "smallest" { local_disk = true } // Get the latest Spark version to use for the cluster. data "databricks_spark_version" "latest" {} // Create the job, emailing notifiers about job success or failure. resource "databricks_job" "this" { name = "${var.resource_prefix}-job-${data.databricks_current_user.me.alphanumeric}" new_cluster { num_workers = 1 spark_version = data.databricks_spark_version.latest.id node_type_id = data.databricks_node_type.smallest.id } notebook_task { notebook_path = databricks_notebook.this.path } email_notifications { on_success = var.email_notifier on_failure = var.email_notifier } } // Print the URL to the notebook. output "notebook_url" { value = databricks_notebook.this.url } // Print the URL to the job. output "job_url" { value = databricks_job.this.url }

  2. 取代<您的電子郵件地址>與您的電子郵件地址,並保存文件。

  3. 運行起程拓殖應用。

  4. 確認筆記本和工作:創建的輸出起程拓殖應用命令,找到的urlnotebook_url和job_url和他們去。

  5. 運行工作:對工作頁麵,點擊現在運行。工作完成後,查看你的電子郵件收件箱。

  6. 當你完成這個示例,從磚工作區中刪除筆記本和工作運行起程拓殖摧毀。

  7. 確認筆記本和工作被刪除:刷新筆記本和工作頁麵顯示消息reources不能被發現。

故障排除

Terraform-specific支持,請參閱最新起程拓殖的話題在HashiCorp討論網站上。問題具體到磚起程拓殖的提供者,請參閱問題在databrickslabs / terraform-provider-databricksGitHub庫。

額外的資源