磚在穀歌的雲功能

一些其他特性在磚雲是沒有這個版本的磚在穀歌的雲。本文列出了可用的特性和功能當前版本不支持的。詳細基於日期的版本說明,請參閱磚平台發布說明Beplay体育安卓版本。

在這個版本

下表列出了主要功能包括在磚運行時在穀歌的雲。

功能

描述和鏈接

磚運行時

磚運行時7.3 LTS及以上。磚8.0運行時機器學習及以上。看到磚的運行時版本。

Apache火花

火花3隻

支持地區

看到磚雲層和地區。

磚的SQL

磚的SQL為SQL分析師提供了一個直觀的環境運行特定的查詢和創建儀表板數據存儲在您的數據。

統一目錄

統一目錄提供集中的訪問控製、審計和數據發現能力磚工作區。數據沿襲不包括在這個版本。

三角洲分享

三角洲分享是一個安全的數據共享平台,讓你在磚與用戶共享數據以Beplay体育安卓版本外的組織。

優化三角洲湖

三角洲湖是一個開源存儲層,數據可靠性湖泊。三角洲湖提供ACID事務,可擴展的元數據處理,結合流媒體和批量數據處理。湖三角洲湖上運行你的現有數據,與Apache火花api完全兼容。三角洲湖磚允許您配置的三角洲湖上基於工作負載模式。看到三角洲湖是什麼?。

集群自動駕駛儀

集群自動定量選擇。看到創建一個集群。

集群政策

集群政策admin-defined、可重用模板執行規則,從而確保用戶創建集群,集群屬性符合這些規則。磚管理員,您現在可以創建集群政策和權限給用戶政策。通過這樣做,你有更多的控製的資源創建、給用戶級別的靈活性他們需要做他們的工作,和大大簡化集群創造經驗。看到管理集群政策。

三角洲生活表(公共預覽版)

三角洲生活表是一個框架為構建可靠、可維護性和可伸縮的數據處理管道。看到δ生活是什麼表?。

高性能集群

支持高並發性集群,高端內存實例類型(N2家庭),ssd和當地的一些實例類型。看到創建一個集群。

筆記本和協作

一個筆記本是一個基於web的接口文檔,其中包含可運行代碼,可視化,敘事文本。看到介紹磚筆記本。

工作

工作是一種交互的代碼在磚集群運行。你的工作可以由一個任務或一個大的多任務工作流與複雜的依賴關係。看到創建和運行數據磚的工作。

優化自動定量

自動添加和刪除工作節點以應對不斷變化的工作負載優化資源的使用。看到集群規模和自動定量。

管理控製台

工作區管理任務。看到磚管理介紹。

單節點集群

單個節點集群是集群由一個火花司機和工人無火花。單節點集群支持火花工作和所有火花數據源,包括三角洲湖。單節點集群有利於單節點機器學習使用火花來傳輸和存儲數據的工作量,和輕量級的探索性數據分析。

單點登錄(SSO)

磚工作區與穀歌雲身份的用戶進行身份驗證的帳戶(或GSuite賬戶)使用穀歌的OAuth 2.0實現,符合OpenID連接規範和OpenID認證。磚提供了openid概要範圍值在穀歌身份驗證請求。可選地,客戶可以配置他們beplay体育app下载地址的穀歌雲身份帳戶(或GSuite賬戶)與外部SAML 2.0聯合身份提供商(IdP)來驗證用戶憑證。穀歌雲身份可以用Azure Active Directory聯合,Okta,萍和其他國內流離失所者。然而,磚隻直接與穀歌身份平台api進行交互。Beplay体育安卓版本看到單點登錄。

基於角色的訪問控製

使用訪問控製列表(acl)配置權限訪問工作區對象(文件夾、筆記本、實驗和模型)、集群、池、表和工作。看到訪問控製。

令牌管理

創建一個個人訪問令牌,你可以使用REST API請求進行身份驗證。工作空間管理員還可以監視令牌,控製非管理用戶可以創建令牌,並設置最大壽命為新令牌。看到管理個人訪問令牌。

穀歌Kubernetes引擎(GKE)數據平麵

有一個穀歌雲VPC +子網客戶賬戶為工作區包含工人的網絡環境。所有磚集群運行時在工作空間內推出私人,區域穀歌Kubernetes引擎(GKE)集群。GKE Kubernetes管理服務。看到穀歌文檔GKE。

集成與穀歌雲的身份

磚工作區與穀歌雲身份的用戶進行身份驗證的帳戶(或GSuite賬戶)使用穀歌的OAuth 2.0實現,符合OpenID連接規範和OpenID認證。磚提供了openid概要範圍值在穀歌身份驗證請求。可選地,客戶可以配置他們beplay体育app下载地址的穀歌雲身份帳戶(或GSuite賬戶)與外部SAML 2.0聯合身份提供商(IdP)來驗證用戶憑證。穀歌雲身份可以用Azure Active Directory聯合,Okta,萍和其他國內流離失所者。然而,磚隻直接與穀歌身份平台api進行交互。Beplay体育安卓版本看到單點登錄。

BigQuery連接器

你可以讀和寫穀歌在磚BigQuery表。看到穀歌BigQuery。

穀歌雲存儲連接器(DBFS和直接)

讀和寫穀歌雲存儲(GCS)桶磚使用磚的文件係統(DBFS)或直接的聯係g:url。看到穀歌雲存儲。您可以使用gc桶坐騎本地文件係統api和shell命令。

MLflow

MLflow是一個開源的平台管理端到端機器學習生Beplay体育安卓版本命周期。管理MLflow磚上跟蹤提供了一個集成的經驗和保證機器學習模型訓練運行和運行機器學習項目。支持管理MLflow添加3月22日,2021年,需要磚運行時的8.1及以上。支持模型提供了1月10日2022年。

回購Git集成

同步與遠程數據磚Git存儲庫。這使得它更容易實現開發最佳實踐。磚支持集成的GitHub, Bitbucket都和GitLab。看到Git與磚回購的集成。

磚連接

連接你最喜歡的IDE (IntelliJ, Eclipse, PyCharm RStudio, Visual Studio),筆記本電腦服務器(如飛艇),和其他自定義應用程序數據磚集群。看到磚連接。

與BI工具集成

集成與權力BI、畫麵、TIBCO、美人,SQL工作台。看到技術合作夥伴。

支持GPU-enabled集群

使用GPU-enabled集群。看到GPU-enabled集群。

Customer-managed VPC

部署一個磚工作區VPC你創建和管理。看到Customer-managed VPC。

磚CLI(實驗)

的磚命令行界麵提供了方便的訪問許多磚從命令行api。CLI是實驗性的。一些命令和選項沒有被測試磚在穀歌的雲。

顯著的特性,並不包含在這個版本

賬戶:

工作區:

筆記本電腦:

集群:

  • 存儲自動定量

  • 憑據透傳

  • 容器服務(自備容器)

  • 集群日誌交付

  • 不同的司機和工人池節點

集成:

  • R公司服務器

磚REST API端點:

  • 帖子/ api / 2.0 / instance-profiles /添加

  • 帖子/ api / 2.0 / instance-profiles /編輯

  • 得到/ api / 2.0 / instance-profiles /列表

  • 帖子/ api / 2.0 / instance-profiles /刪除

  • 得到/ api / 2.0 / policy-families

  • 得到/ api / 2.0 / policy-families / {policy_family_id}

  • 帖子/ api / 2.0 / sql語句

  • 得到/ api / 2.0 / sql /報表/ {statement_id}

  • 帖子/ api / 2.0 / sql /報表/ {statement_id} /取消

  • 得到/ api / 2.0 / sql /報表/ {statement_id} /結果/塊/ {chunk_index}

  • 帖子/ api / 2.0 /令牌管理/代表/令牌

  • 得到/ api / 2.0 /賬戶/ {account_id} /憑證

  • 帖子/ api / 2.0 /賬戶/ {account_id} /憑證

  • 得到/ api / 2.0 /賬戶/ {account_id} /憑證/ {credentials_id}

  • 刪除/ api / 2.0 /賬戶/ {account_id} /憑證/ {credentials_id}

  • 得到/ api / 2.0 /賬戶/ {account_id} /日誌交付

  • 帖子/ api / 2.0 /賬戶/ {account_id} /日誌交付

  • 得到/ api / 2.0 /賬戶/ {account_id} /日誌交付/ {log_delivery_configuration_id}

  • 補丁/ api / 2.0 /賬戶/ {account_id} /日誌交付/ {log_delivery_configuration_id}

  • 得到/ api / 2.0 /賬戶/ {account_id} / oauth2 / custom-app-integrations

  • 帖子/ api / 2.0 /賬戶/ {account_id} / oauth2 / custom-app-integrations

  • 得到/ api / 2.0 /賬戶/ {account_id} / oauth2 / custom-app-integrations / {integration_id}

  • 補丁/ api / 2.0 /賬戶/ {account_id} / oauth2 / custom-app-integrations / {integration_id}

  • 刪除/ api / 2.0 /賬戶/ {account_id} / oauth2 / custom-app-integrations / {integration_id}

  • 得到/ api / 2.0 /賬戶/ {account_id} / oauth2 /注冊

  • 帖子/ api / 2.0 /賬戶/ {account_id} / oauth2 /注冊

  • 得到/ api / 2.0 /賬戶/ {account_id} / oauth2 / published-app-integrations

  • 帖子/ api / 2.0 /賬戶/ {account_id} / oauth2 / published-app-integrations

  • 得到/ api / 2.0 /賬戶/ {account_id} / oauth2 / published-app-integrations / {integration_id}

  • 補丁/ api / 2.0 /賬戶/ {account_id} / oauth2 / published-app-integrations / {integration_id}

  • 刪除/ api / 2.0 /賬戶/ {account_id} / oauth2 / published-app-integrations / {integration_id}

  • 得到/ api / 2.0 /賬戶/ {account_id} / servicePrincipals / {service_principal_id} /憑證/秘密

  • 帖子/ api / 2.0 /賬戶/ {account_id} / servicePrincipals / {service_principal_id} /憑證/秘密

  • 刪除/ api / 2.0 /賬戶/ {account_id} / servicePrincipals / {service_principal_id} /憑證/機密/ {secret_id}

已知的問題

  • 您尚未使用的集群實例類型可能會開始緩慢。這是更可能發生在一個工作區,剛剛被提供。

  • 工作負載的身份,磚隻支持服務帳戶相同的項目,用於部署磚工作區。

  • 在穀歌雲組織層麵,如果你使用Google組織政策限製域身份,告知你的磚帳戶的團隊在你提供磚工作區。

  • 磚最多支持256運行集群的工作區。

  • GCP集群事件日誌頁麵可能包含消息”試圖調整集群<數字>工人”的目標。這是預期行為。集群是“運行”要求的工人數量的50%。更多的工人繼續被添加到集群達到請求的數量。暫時擁有更少的工人比目標數通常不塊筆記本或Apache火花命令運行。

  • 如果你刪除一個工作區,磚創建的兩個GCS桶可能不會自動刪除非空。工作區中刪除後,您可以刪除這些對象在穀歌雲控製台手動為您的項目。去下麵的頁麵,取代<項目id >與你的穀歌雲平台項目ID:Beplay体育安卓版本https://console.cloud.google.com/storage/browser?project= <項目id >。

  • 支持Maven庫隻在磚運行時7.3 LTS(沒有其他7。x版本)和磚運行時版本8.1及以上。

  • 在孤立的情況下,單個節點集群可能無法啟動,返回意想不到的狀態為集群錯誤。如果您遇到這個問題,聯絡支持。

  • 你不能當你創建一個新的GPU集群安排一個工作從一個筆記本。你可以在現有的GPU集群上運行的工作隻有從集群創建頁麵。