使私人服務連接您的工作區

請注意

磚支持私人連接使用私人服務連接(PSC)是在有限的可用性,GA-level功能。聯係你的磚代表請求訪問。

安全工作區與私人連接和減少數據漏出風險通過啟用Google私人服務連接(PSC)工作區。這篇文章包含一些配置步驟,您可以執行使用磚帳戶的控製台或API。

重要的

PSC的API端點的API參考信息,看到API參考文檔,特別是部分VPC端點,私有訪問設置,網絡配置,工作區

兩個私人服務連接選項

有兩種方法,您可以使用私人連接,這樣你就不會向公眾公開交通網絡。本文討論如何配置一個或兩個私人服務連接連接類型:

  • 前端私人服務(用戶連接到工作區):允許用戶連接到磚web應用程序中,REST API,磚連接API了虛擬私有雲(VPC)端點端點。

  • 私人服務端連接(數據平麵控製平麵):連接磚customer-managed虛擬私有雲計算資源(VPC)(數據平麵)磚工作空間的核心服務(控製平麵)。集群連接到控製平麵兩個目的地:磚和REST api安全集群連接繼電器。這個私人服務連接連接類型包括兩種不同的VPC接口端點,因為兩個不同的目的地服務。數據和控製飛機的信息,請參閱磚體係結構概述

您可以實現前端和後端私人服務連接或隻是其中之一。如果您實現私人服務連接的前端和後端連接,您可以選擇授權私人空間連接,這意味著磚拒絕任何在公共網絡連接。如果你拒絕執行任何其中一個連接類型,您不能執行此要求。

啟用私人服務連接,您必須創建磚配置對象,添加新字段的現有配置對象。

重要的

在這個版本中,您可以創建一個新的工作區與私人服務連接的連接使用customer-managed VPC你設置。你不能將私人服務連接的連接添加到現有的工作空間。你不能讓私人服務連接使用Databricks-managed VPC的工作區。

下圖是一個私人服務連接網絡流和架構的概述與磚。

圖:私人服務連接網絡流和架構

更詳細的圖和有關使用防火牆的更多信息,見參考體係結構

保障福利

使用私人服務連接有助於緩解以下數據漏出風險:

  • 數據訪問從瀏覽器在互聯網上或未經授權的網絡使用磚web應用程序。

  • 數據從客戶端訪問互聯網或未經授權的網絡使用磚API。

術語

以下穀歌雲計算中使用本指南描述磚配置:

穀歌的術語

描述

私人服務連接(PSC)

穀歌雲功能,提供私人VPC網絡和穀歌雲服務之間的連接。

主持的項目

如果你使用穀歌所說的共享vpc,它允許您使用不同的穀歌雲項目VPC工作區分開的主要項目ID計算資源,這是創建了VPC的項目。這既適用於數據平麵VPC(後端私人服務連接)和交通VPC(前端私人服務連接)

服務項目

如果你使用穀歌所說的共享vpc,它允許您使用不同的穀歌雲項目VPC工作區分開的主要項目ID計算資源,這是項目工作空間計算資源。

私人服務連接端點或VPC端點

私人從VPC網絡連接服務,例如磚發布的服務。

下表描述了重要的術語。

磚的術語

描述

磚的客戶

一個用戶在瀏覽器上訪問數據磚UI或應用程序客戶端訪問數據磚api。

交通VPC

VPC網絡托管客戶端訪問數據磚工作區應用或者api。

前端(用戶工作區)私人服務連接端點

交通上的私人服務連接端點配置VPC網絡,私下允許客戶機連接到磚和api的web應用程序。

後端(數據平麵控製平麵)私人服務連接端點

私人服務連接端點配置customer-managed VPC網絡允許私人之間的通信磚控製平麵和數據平麵。

數據平麵VPC

VPC網絡主機的計算資源磚工作區。你在穀歌配置customer-managed數據平麵VPC雲組織。

私人空間

是指一個工作區,經典的虛擬機數據平麵沒有公共IP地址。工作區端點磚控製飛機上隻能私下從授權VPC網絡或授權訪問IP地址,如經典的VPC數據平麵或你的PSC交通VPC。

要求和限製

下列條件和限製適用:

  • 新工作空間:您可以創建一個新的工作區與私人服務連接的連接。你不能將私人服務連接的連接添加到現有的工作空間。

  • Customer-managed VPC是必需的。你必須使用customer-managed VPC。你需要創建穀歌雲VPC的控製台或與另一個工具。接下來,在磚帳戶的控製台或API,您創建一個引用VPC的網絡配置和設置附加字段特定於私人服務連接。

  • 自助服務除了啟用您的帳戶預覽。特性:磚必須啟用您的帳戶。使私人服務連接在一個或多個工作區,聯係你的磚代表和請求啟用您的帳戶。和你提供穀歌雲區域主持的項目ID為私人儲備配額服務連接的連接。為私人服務連接啟用您的帳戶後,使用磚帳戶的控製台或API來配置您的私人服務連接對象和創建新的工作區。

  • 配額:您可以配置兩個私人服務端點連接到磚為每個VPC主機項目服務。您可以部署數據平麵計算相同的VPC網絡上多個磚工作區。在這種情況下,所有這些工作區將共享相同的私人服務連接端點。請聯係您的帳戶的團隊如果這種限製不為你工作。

  • 沒有區域的連通性:私人服務連接工作區組件必須在同一地區包括:

    • 交通VPC網絡和子網

    • 數據平麵VPC網絡和子網

    • 磚的工作區

    • 私人服務連接端點

    • 私人服務連接端點子網

網絡拓撲結構的多個選項

您可以部署一個私人磚工作區與下麵的網絡配置選項:

  • 主機磚用戶(客戶)和磚數據平麵在同一網絡:在這個選項中,交通VPC和數據平麵VPC指相同的底層VPC網絡。如果你選擇這種拓撲,所有訪問任何磚工作區VPC必須走在前端的VPC的私人服務連接的連接。看到要求和限製

  • 主機磚用戶(客戶)和磚數據平麵在不同的網絡:在這個選項中,用戶或應用程序客戶機可以訪問不同的磚工作區使用不同的網絡路徑。您可以選擇允許用戶在運輸VPC訪問私人空間在一個私人服務連接的連接,並允許用戶在公共互聯網上的工作區。

  • 多個磚工作區主機數據平麵在同一網絡:在這個選項中,數據平麵VPC多個磚工作區是指相同的底層VPC網絡。所有這些工作空間必須共享相同的後端私人服務連接端點。這個部署模式可以允許您配置一個小數量的私人服務連接端點配置大量的工作區。

你可以共享一個運輸VPC多個工作區。然而,每個交通VPC必須隻包含使用前端PSC的工作區,或不使用前端PSC的工作區。由於DNS解析的工作方式在穀歌雲,你不能使用這兩種類型的工作區與單個運輸VPC。

參考體係結構

磚工作區部署包括以下網絡路徑,您可以獲得:

  • 磚的客戶在你的交通VPC磚控製飛機。這包括web應用程序和REST API訪問。

  • 磚磚控製平麵的平麵VPC網絡數據服務。這包括安全集群連接繼電器和工作區連接的REST API端點。

  • 磚麵數據存儲在Databricks-managed項目。

  • 磚數據平麵VPC網絡GKE API服務器。

  • 磚控製平麵存儲在您的項目包括DBFS桶。

可以有一個沒有防火牆體係結構限製出站流量,使用外部metastore理想。出站流量公共圖書館存儲庫默認是不可能的,但是你可以把你自己的本地鏡像包回購。下圖顯示了一個完整的網絡體係結構(前端和後端)私人服務連接部署沒有防火牆:

私人服務連接沒有防火牆的網絡體係結構

您還可以使用一個防火牆的體係結構,允許出口公共包回購和(可選)Databricks-managed metastore。下圖顯示了一個完整的網絡體係結構(前端和後端)私人服務連接與防火牆部署出口控製:

圖:私人服務連接防火牆的網絡體係結構

區域服務附件參考

啟用私人服務連接,您需要的服務附件為以下端點uri地區:

  • 工作區端點。這個後綴結尾plproxy-psc-endpoint。這有一個雙重角色。這是由後端所使用的私人服務連接到連接到控製平麵REST api。這也是前端使用的私人服務連接到連接你的交通VPC工作區和REST api的web應用程序。

  • 安全集群連接(SCC)繼電器端點。這個後綴結尾ngrok-psc-endpoint。這是僅用於私人服務的後端連接。它是用來連接到控製飛機安全集群連接(SCC)繼電器

工作區端點和SCC繼電器端點服務附件uri區域,看到的私人服務連接(PSC)附件uri和項目數字

步驟1:啟用您的帳戶為私人服務連接

之前磚可以接受私人服務連接的連接從你的穀歌雲項目,你必須聯係你的磚代表每個工作區,並提供以下信息,你想使私人服務連接:

  • 磚帳戶ID

    1. 作為一個賬戶管理,去磚帳戶的控製台

    2. 底部的左邊菜單(您可能需要滾動),單擊用戶按鈕(圖標)的人。

    3. 在出現的彈出,複製帳戶ID通過單擊圖標右邊的ID。

    找到你的帳戶ID。
  • VPC主機項目的ID數據平麵VPC,如果你是讓私人服務的後端連接

  • VPC主機項目的ID交通VPC,如果你是使前端私人服務連接

  • 地區的工作區

重要的

磚代表的回複進行確認一旦磚配置為接受私人服務連接的連接從你的穀歌雲項目。這需要三個工作日。

步驟2:創建一個子網

在數據平麵VPC網絡,創建一個子網專為私人服務連接端點。下麵的說明假定使用的是穀歌的雲主機,但您還可以使用gcloudCLI執行類似的任務。

創建一個子網:

  1. 穀歌的雲主機,雲去VPC列表頁麵

  2. 點擊添加子網

  3. 設置名稱、描述和地區。

  4. 如果目的字段是可見的(可能不可見),選擇沒有一個:

    設置子網的目的字段。
  5. 設置一個私有IP子網範圍,如10.0.0.0/24

    重要的

    你的IP範圍不能重疊有下列:

    • 自帶食物VPC的子網,二級IPv4範圍。

    • 子網持有私人服務連接端點。

    • GKE集群IP範圍,這是一個領域,當你創建磚工作區。

    頁麵看起來通常如下:

    創建一個子網。
  6. 確認你的子網是添加到VPC視圖為您的VPC穀歌雲控製台:

    列出所有子網。

步驟3:創建VPC端點

您需要創建VPC端點連接到數據磚服務附件。服務附件url隨工作空間區域。下麵的說明假定使用的是穀歌的雲主機,但您還可以使用gcloudCLI執行類似的任務。說明創建VPC端點服務附件使用gcloudCLI或API,請參閱穀歌的文章“創建一個私有服務端點連接”

創建子網,創建以下VPC端點服務附件從你的數據平麵VPC:

  • 工作區端點。這個後綴結尾plproxy-psc-endpoint

  • 安全集群連接繼電器端點。這個後綴結尾ngrok-psc-endpoint

創建一個VPC端點在穀歌雲控製台:

  1. 在穀歌雲控製台,去私人服務連接

  2. 單擊連接的端點選項卡。

  3. 點擊+連接端點

  4. 目標中,選擇發布的服務

  5. 目標服務,輸入服務附件URI。

    重要的

    看到桌子上區域服務附件參考得到兩個磚服務附件uri工作區區域。

  6. 端點的名稱,輸入一個名稱使用的端點。

  7. 選擇一個VPC網絡端點。

  8. 選擇一個子網的端點。指定你為私人服務創建連接的子網端點。

    為VPC端點指定創建的子網
  9. 為端點選擇IP地址。如果你需要一個新的IP地址:

    1. 單擊IP地址下拉菜單並選擇創建IP地址

    2. 輸入一個名稱和描述(可選)。

    3. 對於一個靜態IP地址,選擇自動分配讓我選擇

    4. 如果你選擇讓我選擇,輸入自定義的IP地址。

    5. 點擊儲備

  10. 從下拉列表中選擇一個名稱空間,或者創建一個新的命名空間。該地區人口的基礎上,選定的子網。

  11. 單擊Add端點。

端點的數據平麵VPC工作區服務附件URI是這樣的:

VPC從數據平麵VPC工作區服務端點URI的依戀。

端點的數據平麵VPC工作區服務附件URI是這樣的:

VPC端點從數據平麵VPC SCC繼電器服務附件URI。

第四步:配置前端的私人訪問

為前端配置私人訪問數據磚客戶私人服務連接:

  1. 創建一個交通VPC網絡或重用現有的一個。

  2. 創建或重用一個子網私有IP範圍訪問前端的私人服務連接端點。

    重要的

    確保您的用戶可以訪問虛擬機或設備子網。

  3. 創建一個VPC端點從交通VPC工作區(plproxy-psc-endpoint)服務附件。

    的全名為您的地區使用,明白了私人服務連接(PSC)附件uri和項目數字

這個端點的形式在穀歌雲控製台看起來通常如下:

前端VPC端點。

第五步:注冊您的VPC端點

使用帳戶控製台

注冊你的穀歌雲端點使用磚帳戶的控製台。

  1. 磚帳戶的控製台

  2. 單擊雲資源選項卡,然後VPC端點

  3. 點擊注冊VPC端點

  4. 對於每一個你的私人服務連接端點,填寫注冊一個新的VPC端點所需的字段:

    • VPC端點名稱:一個人類可讀的名字來識別VPC端點。磚建議使用相同的作為你的私人服務連接端點ID,但這不是必需的,這些比賽。

    • 地區:穀歌雲地區私人服務連接端點定義。

    • 穀歌雲VPC網絡工程ID:穀歌雲項目ID定義這個端點。為後端連接,這是您的工作區項目ID的VPC網絡。對於前端連接,這是項目ID的VPC用戶連接產生,有時被稱為一個交通VPC。

    注冊一個端點。

下表顯示了每個端點什麼信息需要使用如果您使用後端和前端私人服務連接。

端點類型

例子

前端交通VPC端點(plproxy-psc-endpoint)

VPC端點名稱(磚推薦匹配的穀歌雲端點ID)

psc-demo-user-cp

穀歌雲VPC網絡工程ID

databricks-dev-entd-demo

穀歌雲區域

us-east4

後端數據平麵VPC休息/工作區端點(plproxy-psc-endpoint)

VPC端點名稱(磚推薦匹配的穀歌雲端點ID)

psc-demo-dp-rest-api

穀歌雲VPC網絡工程ID

databricks-dev-xpn-host

穀歌雲區域

us-east4

後端數據平麵VPC SCC繼電器端點(psc-demo-dp-ngrok)

VPC端點名稱(磚推薦匹配的穀歌雲端點ID)

psc-demo-dp-ngrok

穀歌雲VPC網絡工程ID

databricks-dev-xpn-host

穀歌雲區域

us-east4

當你完成,你可以使用VPC端點列表在賬戶控製台中審查並確認的端點列表信息。它看起來一般是這樣的:

審查所有注冊端點。

使用API

API參考信息,請參閱API參考文檔,特別是對於VPC端點

注冊一個VPC端點使用REST API:

  1. 創建一個穀歌標識牌。按照說明上與穀歌身份驗證ID標記對帳戶級別api。API來注冊一個VPC端點需要穀歌訪問令牌,這是除了Google ID。

  2. 使用旋度或另一個REST API客戶端,做一個帖子請求accounts.gcp.m.eheci.com服務器和調用/賬戶/ <帳戶id > / vpc-endpoints端點。請求參數如下:

    參數

    描述

    vpc_endpoint_name

    人類可讀的名稱注冊端點

    gcp_vpc_endpoint_info

    端點的細節,作為一個JSON對象有以下字段:

    • project_id:項目ID

    • psc_endpoint_name:PSC端點的名字

    • endpoint_region:穀歌雲地區的端點

  3. 檢查JSON響應。這返回一個對象,類似於請求負載但響應有一些額外的字段。響應字段:

    參數

    描述

    vpc_endpoint_name

    人類可讀的名稱注冊端點

    account_id

    磚帳戶ID

    use_case

    WORKSPACE_ACCESS

    gcp_vpc_endpoint_info

    端點的細節,作為一個JSON對象有以下字段:

    • project_id:項目ID

    • psc_endpoint_name:PSC端點的名字

    • endpoint_region:穀歌雲地區的端點

    • psc_connection_id:PSC連接ID

    • service_attachment_id附件:PSC服務ID

以下旋度示例添加額外要求穀歌訪問令牌HTTP頭和寄存器VPC端點:

旋度\- x的帖子\——頭“授權:無記名< google-id-token >”\——頭“X-Databricks-GCP-SA-Access-Token: < access-token-sa-2 >”\https://accounts.gcp.m.eheci.com/api/2.0/accounts/ <帳戶id > / vpc-endpoints - h“application / json內容類型:- d”{vpc_endpoint_name”:“psc-demo-dp-rest-api”," gcp_vpc_endpoint_info ": {:“project_id databricks-dev-xpn-host”,:“psc_endpoint_name psc-demo-dp-rest-api”,:“endpoint_region us-east4”}'

步驟6:創建一個磚私有訪問設置的對象

創建一個私人訪問設置對象,它定義了幾個私人服務連接設置您的工作區。這個對象將被附加到您的工作空間中。一個私人訪問設置對象可以被附加到多個工作區。

使用帳戶控製台

創建一個磚私人使用磚賬戶控製台訪問設置對象:

  1. 磚帳戶的控製台

  2. 單擊雲資源選項卡,然後私有訪問設置

  3. 點擊添加私有訪問設置

    創建一個私有訪問設置對象。
  4. 設置必需的字段:

    • 私有訪問設置名稱:人類可讀的名字來識別這個私有訪問設置對象。

    • 地區:該地區VPC端點之間的連接和工作區,這私人訪問設置對象配置。

    • 公共訪問啟用:指定是否允許公共訪問。仔細的選擇這個值,因為它不能改變後創建私有訪問設置對象。

      • 如果啟用了公共訪問,用戶可以配置IP訪問列表允許/阻止公共訪問的工作區(從公共互聯網)使用這個私人訪問設置對象。

      • 如果公共訪問是禁用的,沒有公共交通可以訪問使用這種私人訪問設置對象的工作區。不影響公共訪問IP訪問列表。

      請注意

      在這兩種情況下,IP訪問列表不能阻止私人交通從私人服務連接,因為從公共網絡訪問隻列出了控製訪問。

    • 私人訪問級別:一個規範來限製訪問隻有經過授權的私人服務連接的連接。它可以是以下值之一:

      • 賬戶:任何VPC端點注冊你的磚帳戶可以訪問該工作區。這是默認值。

      • 端點:隻有你明確指定的VPC端點可以訪問工作區。如果你選擇這個值,你可以選擇從您的注冊VPC端點。

使用API

API參考信息,請參閱API參考文檔,特別是對於私有訪問設置

創建數據磚私人使用REST API訪問設置對象:

  1. 如果你沒有這樣做,或者如果您的令牌過期了,創建一個穀歌標識牌。按照說明上與穀歌身份驗證ID標記對帳戶級別api。API創建一個私人設置的對象需要一個穀歌訪問令牌,這需要一些api。你需要穀歌其他步驟的訪問令牌,但不是為這一步。

  2. 使用旋度或另一個REST API客戶端,做一個帖子請求accounts.gcp.m.eheci.com服務器和調用/賬戶/ <帳戶id > / private-access-settings端點。請求參數如下:

    參數

    描述

    private_access_settings_name

    人類可讀的私人訪問設置對象的名稱

    地區

    穀歌雲地區的私人訪問設置對象

    private_access_level

    定義了VPC端點工作區接受:

    • 賬戶:工作區隻接受VPC端點的磚賬戶注冊的工作空間。這是默認值,如果省略了。

    • 端點:工作區隻接受VPC端點所明確列出的單獨的IDallowed_vpc_endpoints字段。

    allowed_vpc_endpoints

    VPC端點IDs允許列表的數組。隻有使用private_access_level端點

    public_access_enabled

    指定是否允許公共訪問。仔細的選擇這個值,因為它不能改變後創建私有訪問設置對象。

    • 如果啟用了公共訪問,用戶可以配置IP訪問列表允許/阻止公共訪問的工作區(從公共互聯網)使用這個私人訪問設置對象。

    • 如果公共訪問是禁用的,沒有公共交通可以訪問使用這種私人訪問設置對象的工作區。不影響公共訪問IP訪問列表。

    請注意

    在這兩種情況下,IP訪問列表不能阻止私人交通從私人服務連接,因為從公共網絡訪問隻列出了控製訪問。隻有VPC端點中定義allowed_vpc_endpoints可以訪問您的工作區。

  3. 檢查響應。這返回一個對象,類似於請求對象,但額外的字段:

    • account_id:磚帳戶ID。

    • private_access_settings_id:私人訪問設置對象ID。

例如:

旋度\- x的帖子\——頭“授權:無記名< google-id-token >”\https://accounts.gcp.m.eheci.com/api/2.0/accounts/ <帳戶id > / private-access-settings - h“application / json內容類型:- d”{:“private_access_settings_name psc-demo-pas-account”,“地區”:“us-east4”,“private_access_level”:“賬戶”,“public_access_enabled”:沒錯,}'

這生成一個響應類似於:

{“private_access_settings_id”:“999999999 - 95 - af - 4 - abc - ab7c b590193a9c74”,“account_id”:“實際帳戶id > <”,“private_access_settings_name”:“psc-demo-pas-account”,“地區”:“us-east4”,“public_access_enabled”:真正的,“private_access_level”:“賬戶”}

提示

如果你想回顧私人使用的API訪問設置對象的集合,做一個得到請求https://accounts.gcp.m.eheci.com/api/2.0/accounts/ <帳戶id > / private-access-settings端點。

第七步:創建一個網絡配置

創建一個磚網絡配置,它封裝了customer-managed VPC的信息為您的工作區。這個對象將被附加到您的工作空間中。

使用帳戶控製台

創建一個網絡配置使用帳戶控製台:

  1. 如果您還沒有為你創造了你的VPC工作區,現在這樣做。

  2. 磚帳戶的控製台

  3. 單擊雲資源選項卡,然後網絡配置

  4. 點擊添加網絡配置

    創建一個網絡配置。

示例值

網絡配置名稱

psc-demo-network

網絡質量項目ID

databricks-dev-xpn-host

VPC的名字

psc-demo-dp-vpc

子網的名字

subnet-psc-demo-dp-vpc

區域的子網

us-east4

次要的IP範圍GKE吊艙

圓莢體

二次GKE服務IP範圍名稱

svc

VPC端點安全集群連接繼電器

psc-demo-dp-ngrok

REST api VPC端點(後端連接到工作區)

psc-demo-dp-rest-api

使用API

API參考信息,請參閱API參考文檔,特別是對於網絡

使用REST API創建磚網絡配置的對象:

  1. 如果您還沒有為你創造了你的VPC工作區,現在這樣做。

  2. 如果你沒有這樣做,或者如果您的令牌過期了,創建一個穀歌標識牌。按照說明上與穀歌身份驗證ID標記對帳戶級別api。創建一個網絡配置需要一個穀歌訪問令牌,除了Google ID。

  3. 使用旋度或另一個REST API客戶端,做一個帖子請求accounts.gcp.m.eheci.com服務器和調用/賬戶/ <帳戶id > /網絡端點。

    1. 審查所需的和可選的參數創建網絡API。看到的文檔為賬戶創建網絡配置操作API。的參數集下麵不能重複操作。

    2. 的私人服務連接支持,請求JSON必須添加參數vpc_endpoints。它列出了注冊端點的磚id和分為屬性不同的用例。端點定義為數組但你提供不超過一個VPC端點在每個數組。這兩個字段

      • rest_api:VPC端點為工作區連接,使用數據平麵上調用REST api控製飛機。

      • dataplane_relay:VPC的端點安全集群連接繼電器連接。

      例如:

      “vpc_endpoints”:{“rest_api”:(“63 d375c1 - 3 - ed8 - 403 b - 9 - a3d a648732c88e1”),“dataplane_relay”:(“d76a5c4a - 0451 - 4 - b19 - a4a8 b3df93833a26”]},
  4. 檢查響應。這返回一個對象,類似於請求對象,但以下額外的字段:

    • account_id:磚帳戶ID。

以下旋度示例添加額外要求穀歌訪問令牌HTTP頭和創建一個網絡配置:

旋度\- x的帖子\——頭“授權:無記名< google-id-token >”\——頭“X-Databricks-GCP-SA-Access-Token: < access-token-sa-2 >”\https://accounts.gcp.m.eheci.com/api/2.0/accounts/ <帳戶id > /網絡- h“application / json內容類型:- d”{:“network_name psc-demo-network”," gcp_network_info ": {:“network_project_id databricks-dev-xpn-host”,:“vpc_id psc-private-preview-demo-dp-vpc”,:“subnet_id subnet-psc-private-preview-demo-dp-vpc”,:“subnet_region us-east4”,“pod_ip_range_name”:“pod”,:“service_ip_range_name svc”}," vpc_endpoints ": {“rest_api”:(“9999999 - 3 - ed8 - 403 b - 9 - a3d a648732c88e1”),“dataplane_relay”:(“9999999 - 0451 - 4 - b19 - a4a8 b3df93833a26”]}}'

這生成一個響應類似於:

{“network_id”:“b039f04c - 9 - b72 - 4973 - 8當- 97 - cf8defb1d7”,“account_id”:“實際帳戶id > <”,“vpc_status”:“未婚”,“network_name”:“psc-demo-network”,“creation_time”:1658445719081,“vpc_endpoints”:{“rest_api”:(“63 d375c1 - 3 - ed8 - 403 b - 9 - a3d a648732c88e1”),“dataplane_relay”:(“d76a5c4a - 0451 - 4 - b19 - a4a8 b3df93833a26”]},“gcp_network_info”:{“network_project_id”:“databricks-dev-xpn-host”,“vpc_id”:“psc-private-preview-demo-dp-vpc”,“subnet_id”:“subnet-psc-private-preview-demo-dp-vpc”,“subnet_region”:“us-east4”,“pod_ip_range_name”:“紫蠶島”,,“service_ip_range_name”:“svc”}}

提示

如果你想檢查網絡配置對象的集合使用API,使得到請求https://accounts.gcp.m.eheci.com/api/2.0/accounts/ <帳戶id > /網絡端點。

第八步:創建一個工作區

創建一個工作區使用您創建的網絡配置。

使用帳戶控製台

創建工作區與帳戶控製台:

  1. 磚帳戶的控製台

  2. 單擊工作區選項卡。

  3. 點擊創建工作區

    創建一個工作區。

  4. 設置這些標準工作區字段:

    • 工作區名稱

    • 地區

    • 穀歌雲項目ID(項目工作空間的計算資源,這可能是不同的項目ID VPC)。

    • 確保使私有集群檢查。

    • IP範圍GKE主資源

  5. 私人設置服務連接特定字段:

    1. 點擊高級配置

    2. 網絡配置字段中,選擇你的網絡配置您在前麵的步驟中創建。

    3. 私人的連接字段中,選擇您的私有訪問設置您在前麵的步驟中創建的對象。注意,一個私有訪問設置對象可以被附加到多個工作區。

  6. 點擊保存

使用API

API參考信息,請參閱API參考文檔,特別是對於工作區

使用REST API創建磚工作區:

  1. 如果你沒有這樣做,或者如果您的令牌過期了,創建一個穀歌標識牌。按照說明上與穀歌身份驗證ID標記。重要的是要注意以下說明這個頁麵:

    • API來注冊一個VPC端點是一個戶頭級別API。

    • 注冊一個VPC的API端點需要一個穀歌訪問令牌,提到一些所需的api。

  2. 使用旋度或另一個REST API客戶端,做一個帖子請求accounts.gcp.m.eheci.com服務器和調用/賬戶/ <帳戶id > /工作區端點。

    1. 審查所需的和可選的參數創建工作區API。看到的文檔創建工作區操作帳戶API。參數的設置,這裏不重複操作。

    2. 的私人服務連接支持,請求JSON必須添加參數private_access_settings_id。將其設置為私人設置的磚ID對象創建。ID是在響應private_access_settings_id

  3. 檢查響應。這返回一個對象,類似於請求對象,但附加字段。看到的文檔創建工作區操作帳戶API然後單擊響應代碼201 (成功)。字段的設置下麵的響應不重複。

以下旋度示例添加額外要求穀歌訪問令牌HTTP頭並創建一個工作區:

旋度\- x的帖子\——頭“授權:無記名< google-id-token >”\——頭“X-Databricks-GCP-SA-Access-Token: < access-token-sa-2 >”\https://accounts.gcp.m.eheci.com/api/2.0/accounts/ <帳戶id > /工作區- h“application / json內容類型:- d”{:“workspace_name psc-demo-workspace”,“pricing_tier”:“溢價”," cloud_resource_container ": {"質量":{:“project_id示例項目”}},“位置”:“us-east4”,“private_access_settings_id”:“9999999 - 95 - af - 4 - abc - ab7c b590193a9c74”,“network_id”:“9999999 - 9 - b72 - 4973 - 8當- 97 - cf8defb1d7”," gke_config ": {:“gke_connectivity_type PRIVATE_NODE_PUBLIC_MASTER”,:“gke_cluster_master_ip_range 10.5.0.0/28”}}'

這生成一個響應類似於:

{“workspace_id”:999997997552291,“workspace_name”:“ps-demo-workspace”,“creation_time”:1669744259011,“deployment_name”:“7732657997552291.1”,“workspace_status”:“運行”,“account_id”:“實際帳戶id > <”,“workspace_status_message”:“工作空間運行。”,“pricing_tier”:“溢價”,“private_access_settings_id”:“93 b1ba70 - 95 - af - 4 - abc - ab7c b590193a9c74”,“位置”:“us-east4”,“雲”:“質量”,“network_id”:“b039f04c - 9 - b72 - 4973 - 8當- 97 - cf8defb1d7”,“gke_config”:{“connectivity_type”:“PRIVATE_NODE_PUBLIC_MASTER”,“master_ip_range”:“10.5.0.0/28”},“cloud_resource_container”:{“質量”:{“Project_id”:“示例項目”}}}

提示

如果你想回顧工作區使用API的集合,做一個得到請求https://accounts.gcp.m.eheci.com/api/2.0/accounts/ <帳戶id > /工作區端點。

第九步:驗證工作區配置

創建工作區後,回到工作區頁麵找到您新創建的工作區。它通常需要30秒到3分鍾工作區交通供應地位運行的地位。後的狀態變化運行成功,您的工作區配置。

您可以使用磚帳戶驗證配置控製台:

  1. 點擊雲資源然後網絡配置。找到你的網絡配置VPC使用帳戶控製台。審查確認所有字段是正確的。

  2. 點擊工作區並找到工作。確認工作空間運行:

    驗證您的工作區。

提示

如果你想回顧工作區使用API的集合,做一個得到請求https://accounts.gcp.m.eheci.com/api/2.0/accounts/ <帳戶id > /工作區端點。

第十步:配置DNS

以下部分描述的前端和後端DNS配置單獨的步驟。

前端DNS配置

本節將展示如何創建一個私人DNS區域的前端連接。

你可以共享一個運輸VPC多個工作區。然而,每個交通VPC必須隻包含使用前端PSC的工作區,或不使用前端PSC的工作區。由於DNS解析的工作方式在穀歌雲,你不能使用這兩種類型的工作區與單個運輸VPC。

  1. 確保你有你的工作空間的URL為你部署磚工作區。這類似於形式https://33333333333333.3.gcp.m.eheci.com。你可以得到這個URL從web瀏覽器或當你瀏覽一個工作區賬戶控製台在其工作空間的列表。

  2. 創建一個私有DNS區域包括交通VPC網絡。使用穀歌在雲中雲主機DNS頁麵,點擊創建區域

    1. DNS名稱字段,類型gcp.m.eheci.com

    2. 網絡字段中,選擇你的運輸VPC網絡。

    3. 點擊創建

    創建一個私人區域
  3. 創建DNS一個記錄您的工作區URL映射到plproxy-psc-endpoint私人服務連接端點IP。

    1. 定位的私人服務連接端點IPplproxy-psc-endpoint私人服務連接端點。在這個例子中,假設為私人服務的IP連接端點psc-demo-user-cp10.0.0.2

    2. 創建一個一個記錄工作空間的URL映射到私人服務連接端點IP。在這種情況下,域名(比如地圖你獨特的工作空間33333333333333333.3.gcp.m.eheci.com)為私人服務的IP地址連接端點,這在我們之前的例子10.0.0.2但是你的數量可能會有所不同。

    3. 創建一個一個記錄映射dp - < workspace-url >私人服務IP連接端點。在這種情況下,使用示例工作區URL映射dp-333333333333333.3.gcp.m.eheci.com10.0.0.2,但這些值可能不同。

  4. 如果用戶將使用一個web瀏覽器在用戶VPC訪問工作區,必須創建一個支持身份驗證一個記錄映射< workspace-gcp-region > .psc-auth.gcp.m.eheci.com10.0.0.2。在這種情況下,地圖us-east4.psc-auth.gcp.m.eheci.com10.0.0.2。前端連接,這一步通常是必要的,但如果你計劃從交通網絡前端連接隻對REST api(不是web瀏覽器用戶訪問),您可以省略這一步。

下麵顯示了穀歌雲控製台將顯示一個公認為前端私人服務端點連接DNS配置:

確認端點被接受。

你帶的前端DNS配置一個記錄映射到您的工作區URL和磚身份驗證服務看起來通常如下:

前端DNS配置URL映射您的工作區。

後端DNS配置

本節將展示如何創建一個私人DNS區域包括數據平麵VPC網絡。您需要創建DNS記錄兩個工作區URL映射到plproxy-psc-endpoint私人服務端點的IP連接:

  1. 確保你有你的工作空間的URL為你部署磚工作區。這類似於形式https://33333333333333.3.gcp.m.eheci.com。你可以得到這個URL從web瀏覽器或當你瀏覽一個工作區賬戶控製台在其工作空間的列表。

  2. 定位的私人服務連接端點IPplproxy-psc-endpoint私人服務連接端點。使用工具等網路資訊查詢獲得IP地址。

    我們想要地圖為私人服務的IP連接端點psc-demo-dp-rest-api10.10.0.2

    下麵顯示了穀歌雲控製台將顯示一個公認為後端私人服務端點連接DNS配置:

    一個公認的後端端點,包括目的地IP地址。
  3. 創建以下一個記錄的映射:

    • 你的工作空間域(如33333333333333.3.gcp.m.eheci.com)10.10.0.2

    • 你的工作空間域前綴dp -,如dp-33333333333333.3.gcp.m.eheci.com)10.10.0.2

  4. 在同一區gcp.m.eheci.com,創建一個私人DNS記錄SCC繼電器URL映射到SCC繼電器端點ngrok-psc-endpoint利用其端點IP。

    1. SCC繼電器URL的格式:隧道。< workspace-gcp-region > .gcp.m.eheci.com。在這個例子中,SCC繼電器的URLtunnel.us-east4.gcp.m.eheci.com

    2. 定位的私人服務連接端點IPngrok-psc-endpoint私人服務連接端點。在本例中,為私人服務的IP連接端點psc-demo-dp-ngrok10.10.0.3

    3. 創建一個一個記錄映射tunnel.us-east4.gcp.m.eheci.com10.10.0.3

的列表一個記錄在你的區域看起來一般如下:

後端DNS配置連接到工作區。

驗證您的DNS配置

在VPC網絡,確保你的DNS正確配置:

在你運輸VPC網絡,使用網路資訊查詢工具來確認以下url現在解決前端私人服務連接端點IP。

  • < workspace-url >

  • dp - < workspace-url >

  • < workspace-gcp-region > .psc-auth.gcp.m.eheci.com

在您的數據平麵VPC網絡,使用網路資訊查詢工具來確認以下url解決正確的私人服務連接端點IP

  • < workspace-url >映射到私人服務IP連接端點的端點plproxy-psc-endpoint它的名字。

  • dp - < workspace-url >映射到私人服務IP連接端點的端點plproxy-psc-endpoint它的名字。

  • 隧道。< workspace-gcp-region > .gcp.m.eheci.com映射到私人服務IP連接端點的端點ngrok-psc-endpoint它的名字。

步驟11(可選):配置metastore訪問

特性,比如SQL訪問控製列表(acl)需要訪問metastore。由於數據平麵VPC不能訪問公共網絡默認情況下,您必須創建一個雲與訪問metastore NAT。看到控製飛機的服務端點的IP地址

你可以另外配置一個防火牆來防止入口和出口流量來自其他來源。另外,如果你不想配置一個雲NAT VPC,另一個選擇是配置一個外部metastore私人聯係。

雲NAT

步驟12(可選):配置IP訪問列表

從用戶私人服務前端連接連接默認工作區允許公眾訪問。

您可以配置允許或拒絕公眾訪問工作區當你創建一個私有訪問設置對象。看到步驟6:創建一個磚私有訪問設置的對象

如果你選擇否認公共訪問,不允許公眾訪問工作區。

如果您選擇允許公眾訪問,你可以配置IP訪問列表為你的磚工作區。IP訪問列表隻適用於在互聯網上請求來自公共IP地址。你不能使用IP訪問列表塊私人交通從私人服務連接。

阻止所有訪問互聯網:

  1. 啟用IP訪問列表的工作區。看到IP訪問列表工作區

  2. 創建一個0.0.0.0/0IP訪問列表。

注意,請求VPC網絡連接使用私有服務連接不影響IP訪問列表。連接被授權使用私人服務連接訪問級別的配置。看到相關的部分步驟6:創建一個磚私有訪問設置的對象

步驟13(可選):配置VPC服務控製

除了私下使用私人服務連接到連接到磚服務,您可以配置VPC服務控製保持你的私人和減輕交通數據漏出的風險。

配置後端從數據平麵VPC私有訪問雲存儲

您可以配置私人穀歌訪問或私人服務連接到私人飛機VPC訪問雲存儲資源從你的數據。

添加您的數據平麵VPC服務控製服務周邊的項目

對於每個磚的工作空間,您可以添加以下穀歌雲VPC服務控製的項目服務範圍:

  • 數據平麵VPC主機項目

  • 項目包含DBFS存儲桶的工作區

  • 服務項目包含工作空間的計算資源

在這個配置中,您需要授權訪問下麵兩個:

  • 磚的計算資源和DBFS存儲桶控製飛機

  • 從數據平麵VPC Databricks-managed存儲桶

能給予上述訪問下麵的入口和出口規定上述VPC服務控製服務周邊。

把項目編號為這些入口和出口規則,明白了私人服務連接(PSC)附件uri和項目數字

導入規則

您需要添加一個入口規則授予訪問您的VPC服務控製服務從磚控製平麵VPC的周長。下麵是一個示例導入規則:

來自:身份:ANY_IDENTITY源>項目= < regional-control-plane-vpc-host-project-number > < regional-control-plane-uc-project-number > < regional-control-plane-audit-log-delivery-project-number >:項目= <數據平麵項目id列表>服務=服務名稱:storage.googleapis.com服務方法:所有操作服務名稱:compute.googleapis.com服務方法:所有操作服務名稱:container.googleapis.com服務方法:所有操作服務名稱:logging.googleapis.com服務方法:所有操作服務名稱:cloudresourcemanager.googleapis.com服務方法:所有操作服務名稱:iam.googleapis.com服務方法:所有操作

出口規則

您需要添加一個出口規則授予訪問Databricks-managed VPC存儲桶從數據平麵。下麵是一個例子出口規則:

來自:身份:ANY_IDENTITY:項目= < regional-control-plane-asset-project-number > < regional-control-plane-vpc-host-project-number >服務=服務名稱:storage.googleapis.com服務方法:所有操作服務名稱:containerregistry.googleapis.com服務方法:containers.registry.read

獲得的訪問數據存儲桶湖VPC服務控製

您可以添加穀歌雲項目包含數據存儲桶湖VPC服務控製服務周邊。

您不需要任何額外的入口或出口規則如果數據存儲桶和湖磚工作區項目在同一個VPC服務控製服務周邊。

如果數據存儲桶湖在一個單獨的VPC服務控製服務周邊,您需要配置如下:

  • 湖入口規則對數據服務範圍:

    • 允許訪問雲存儲的數據平麵VPC磚

    • 允許訪問雲存儲的數據磚VPC使用控製飛機項目id地區頁麵上的記錄。這個訪問需要磚引入了新的數據治理的特征,如統一目錄。

  • 出口規定磚數據平麵的服務範圍:

    • 允許出口的雲存儲數據湖上項目