的磚管理指南地址如何設置在AWS磚,穿過標簽等功能的實現,組織和秘密。這裏有一些注意事項和決策點來幫助你理解實現的權衡決定。許多這些項目詳細的企業推出AWS數據表。
數據平台管Beplay体育安卓版本理策略
分布式與集中式
分布式策略
分布式策略允許獨立的團隊有自己的環境:
- 他們可以被授予管理權利,工作區創建集群和資源
- 他們不需要擔心限製或矛盾的其他團隊
- 工作區訪問保持鎖定特定的團隊成員授予訪問特定的工作區
集中戰略
另一方麵,一個集中的策略允許:
- 更大的靈活性和跨團隊溝通和知識共享
- 真理的單一來源
- 允許將特定組件的工作空間鎖定限製資源開放給所有用戶
最佳實踐
使用磚的E2版本和分布式模型——一個帳戶維護的管理團隊,同時與兩個工作區:每個團隊利用磚生產和開發個性化的工作流。
E2和non-E2(單租戶)
E2磚平台的版本(2020年9月發布)使磚平台AWS更安全、可伸縮Beplay体育安卓版本的和簡單的管理。E2的體係結構提供了:
Multi-workspace賬戶
使用的每個帳戶創建多個工作區賬戶API。工作區是聯係在一起的一個賬戶,以便所有工作區配置由一個中央管理團隊,同時允許更多的管理權利個人團隊每個工作區。可以設置一個退款並分發到每一個個人的工作區(團隊)和仍然在帳戶中看到一個聚合視圖API。
Customer-managed vpc
創建磚工作區在自己的VPC,而不是使用默認架構創建集群在一個AWS VPC,磚在AWS帳戶創建和配置。
安全集群連接
也被稱為“不”公共IP安全集群連接允許您啟動集群中所有節點隻有私有IP地址,提供增強的安全。
Customer-managed鍵筆記本
(公共預覽版):提供公裏密鑰加密的筆記本Databricks-managed控製飛機。
常見的角色和角色
雲平台Beplay体育安卓版本
標簽雲的資產
AWS允許你“標簽”磚集群,有多種不同的用法。這些標簽可以用來執行合規,退款部門之間和監控雲資產一致和連貫的方式由雲管理員。這些標簽需求可以由雲管理員介紹,磚管理員,甚至數據團隊領導。
標簽應該是一致的和適用的所有團隊和執行管理團隊,以確保資源成本和分析可以合理分配。下麵是一些常見的問題團隊必須解決準備這個實現。
- 是一個企業有標記模式來實現?
- 有標簽模式具體磚來實現?
- 有標簽模式具體到磚工作區我們操作嗎?
- 有標簽模式具體數據團隊?
你可以閱讀更多關於這個的磚的文檔。
外部Apache蜂巢metastore
磚本機工作區蜂群metastore集成,用於追蹤模式,位置和額外的元數據對數據存儲在雲中遠程。客戶體驗的一個挑戰是保持一致的願景的跨beplay体育app下载地址企業數據資產,每個工作都有自己的定義。
根據您的組織的目標,考慮滾自己的外部蜂巢metastore,這將允許企業磚之間共享一個公共元數據存儲庫工作區。
這個配置是沒有正式支持的磚,所以客戶承擔風險在操作和維護支持的RDBMS蜂房metastore。這也付出的額外成本在雲環境中運行一個RDBMS實例永久和確保您的企業網絡
策略允許集中的訪問這個資源。
磚也可以集成AWS metastore膠水。
你可以了解更多磚目錄頁麵。
雲提供商——AWS
AWS帳戶
管理
在選擇AWS雲提供商,你首先需要的是一個AWS帳戶。磚將創建的資產在AWS帳戶,使用磚Web應用程序時,所有火花/ SQL命令將從磚“控製平麵”發送到AWS帳戶的資產,被稱為“數據平麵。”
企業有不同的需求在帳戶管理,一些企業將使用相同的AWS帳戶,和一些組織會使用不同的AWS帳戶基於業務需求。隔離磚工作區到不同的AWS帳戶允許更大的職責分離,然而增加操作開銷當試圖AWS帳戶之間的工作。
某些基於帳戶配置資源是有限的(例如,隻有一個AWS膠水可用數據目錄,與AWS帳戶)。回顧這些限製,考慮創建雲基礎設施的企業標準和控製,並確保你的磚供應策略是企業采用一致的成功至關重要。
磚
賬戶管理
當創建一個磚工作區,你聯係起來AWS帳戶與你的磚帳戶使用賬戶API。賬戶管理是單一來源在企業運行的所有磚工作區。帳戶管理可能會委托給雲管理員或磚管理員,根據您的企業內部角色/職責。是首選最佳實踐有一個磚占您的企業,這樣可以全麵查看使用磚的成本在一個位置,而不是這個信息從不同的賬戶。
磚
cross-account作用
磚需要訪問cross-account服務我的角色在你的AWS帳戶,以便在適當的VPC磚可以部署的集群新工作區。磚賬戶API支持多個憑據,所以很容易配置一個cross-account作用為每個工作空間,它允許更大的靈活性和可審核性前進。一些客戶選beplay体育app下载地址擇使用隻有一個cross-account角色所有的磚工作區來簡化創建工作區,這完全是另一個可接受的解決方案。
AWS根鬥
根S3存儲桶在你的賬戶需要存儲的物品,例如集群日誌,筆記本的修正和工作結果。您還可以使用根存儲S3 bucket非生產數據的存儲,像數據需要進行測試。可以分享一個根S3 bucket多個工作空間在一個帳戶。你不需要為每個工作區創建新的。如果你分享一個根S3 bucket多個工作空間的一個賬戶,根S3 bucket數據由工作空間劃分為單獨的目錄。一些企業更傾向於完全獨立的操作每個工作區創建一個專用桶為每個工作區,而其他企業更傾向於鞏固和管理一個S3 bucket在所有工作區。推薦的最佳實踐是有相同的S3 bucket AWS地區工作,所以如果您的企業更願意集中基礎設施,建議有一個集中的每個AWS S3 bucket地區而不是配置存儲在不同的地區。
AWS網絡
安全
Databricks-managed VPC
默認情況下,磚中創建一個VPC AWS帳戶為每個工作區。在工作區中磚使用它為運行集群。當磚創建工作區創建期間VPC, VPC的生命周期與工作空間的生命周期。這可能是理想的網絡基礎設施將清理刪除工作空間的一部分。這可能不是理想的客戶有特定的網絡需求,或想要共同部署beplay体育app下载地址服務磚VPC的內部。
Customer-managed VPC
可選地,您可以使用您自己的工作區,VPC Customer-Managed VPC使用特性。磚建議您提供自己的VPC,以便您可以配置它根據您的組織的企業雲計算標準,同時符合磚要求。你不能將現有的工作空間遷移到自己的VPC。
有更多的文檔在這裏
AWS數據安全
磚支持訪問控製列表一直到存儲層。磚可以利用雲骨幹利用最先進的AWS安全服務的平台。Beplay体育安卓版本聯合現有的AWS數據訪問角色與你通過SSO身份提供商來簡化管理你的用戶和他們的數據安全訪問湖。磚還可以利用AWS CloudTrail和監測提供數據訪問的信息在您的部署帳戶和任何其他配置。
我 實例配置文件
一個我的角色是一個AWS身份許可政策,確定在AWS身份可以和不能做什麼。實例配置文件是一個容器,一個我的角色,您可以使用它通過角色信息實例啟動時一個EC2實例。
為了安全地訪問AWS資源,您可以啟動磚集群實例配置文件允許您從磚的集群,而無需訪問您的數據嵌入AWS鑰匙在筆記本。這篇文章解釋了如何設置實例配置文件和使用磚安全地訪問S3 bucket。
使用憑據直通
我直通允許您進行身份驗證憑據自動從磚S3 bucket集群使用你的身份登錄到磚。當你為我憑證直通啟用您的集群,命令你運行在集群可以讀取和寫入數據在S3中使用您的身份。我憑證傳遞有兩個關鍵好處在確保訪問S3 bucket使用實例配置文件:
- 我憑證直通允許多個用戶提供不同的數據訪問策略共享一個磚集群在S3中訪問數據時總是保持數據安全。實例配置文件可以與我隻有一個角色相關聯。這需要磚集群上的所有用戶共享這個角色和數據訪問政策的作用。
- 我直通將用戶與身份憑證。這反過來使S3對象通過CloudTrail日誌。所有S3訪問都是直接綁定到用戶通過攻擊CloudTrail日誌中。
在AWS,利用憑證直通是首選認證/授權訪問數據上麵列出的原因的方法。憑據直通,然而,已知的限製,列出下麵的文檔部分。使用憑證傳遞的方法是直接使用實例配置文件,而不是配置元實例配置文件,然後假定的角色。這個不幸的是不會傳播用戶的識別潛在的AWS基礎設施然而,所以推薦使用這種方法隻有當遇到的一個記錄的局限性。
有關更多信息,閱讀交付和訪問計費使用日誌和監控你的磚工作區與審計日誌。