安全,打破數據湖的真正潛力
在過去的幾年裏,磚已經得到很多經驗部署數據分析在企業規模。在許多情況下,我們的客戶有成千上萬的人beplay体育app下载地址使用我們的產品在不同的業務單位的各種不同的用例——涉及從私有和敏感數據訪問各種數據分類公共數據。這已經給我們帶來各種挑戰與部署、操作和保護大規模數據分析平台。Beplay体育安卓版本在這個博客中,我想談談其中的一些知識。
挑戰,確保數據湖
他們搬到分解數據豎井,許多組織把他們所有的數據,從不同的來源,為數據湖數據工程師,數據科學家和業務分析人員可以處理和查詢數據。這個地址的挑戰使得用戶數據,但創建一個新的挑戰,保護和隔離不同類別的數據從用戶不允許訪問它。
我們從我們的經驗是,擴展從單個用例實施在生產大企業可以利用的平台,任何團隊帶來了很多安全問題:Beplay体育安卓版本
- 我們如何確保每個計算環境中訪問數據湖是安全的,符合企業治理控製?
- 我們如何確保每個用戶隻能訪問他們的數據是允許訪問嗎?
- 我們如何審計訪問數據湖,他們讀/寫數據是什麼?
- 我們如何創造一個policy-governed環境不依賴用戶遵循最佳實踐來保護我們公司的最敏感的數據?
這些問題簡單的回答和實現一個小團隊或小數據為一個特定的用例。但是,它是很難實施大規模數據,每個數據科學家,工程師,分析師可以讓大多數使用的數據。這正是磚平台構建——簡化並啟用安全數據分析在企業規模。Beplay体育安卓版本
基於我們的經驗這裏有一些主題,平台需要注意Beplay体育安卓版本
對核心安全進行控製
企業花費大量的資金和資源的創建和維護一個湖的保證數據可以用於各種跨企業的產品和服務。沒有一個平台可Beplay体育安卓版本以解決所有企業需求這意味著該數據將被用於不同的產品要麼本土,供應商或進行收購。出於這個原因,必須統一在一個開放的數據格式和安全使用進行控製。為什麼?兩個原因。1,因為雲提供商已經找到了如何擴展其核心安全控製。2、如果保護和訪問數據需要專用工具,那麼你將這些工具集成所有訪問數據。這可能是一場噩夢。所以,當有疑問去進行。
這正是磚平台。Beplay体育安卓版本它集成了我,AAD的身份和公裏/密鑰庫加密的數據,STS訪問令牌,安全組/ nsg例如防火牆。這給企業控製他們的信任錨,集中在一個地方訪問控製策略和擴展他們無縫磚。
隔離的環境
分離計算和存儲是一個公認的體係結構模式來存儲和處理大量的數據。確保和保護的計算環境可以訪問數據時最重要的一步減少整體攻擊表麵。你安全的計算環境如何?讓我想起一句話由聯邦調查局丹尼斯·休斯說“唯一安全的計算機是不插電的,鎖在一個安全的,和20英尺地下埋在一個秘密地點,我甚至不太確定那個”——當然,但這並不與目標幫助我們使所有企業數據科學家和工程師開始在幾分鍾內與新數據項目在全球範圍內和規模。那麼我們該怎麼做呢?隔離,隔離,隔離。
步驟1。確保雲工作區為你分析隻能從你的擔保公司周邊進行訪問。如果員工需要從遠程位置工作他們需要向公司網絡VPN訪問任何可以接觸數據。這將允許企業IT監控、檢查和執行政策的任何訪問雲中的工作區。
步驟2。看不見,我的意思是,實現Azure私人聯係或AWS privateLink。確保所有交通用戶之間的平台,筆記本和計算集群這一過程查詢加密和傳輸雲提供商的網絡骨幹,無法進Beplay体育安卓版本入外麵的世界。這同樣適用,以減輕對數據漏出,因為受損或惡意用戶不能發送數據外部。VPC / VNET凝視地址類似的要求,但操作上更密集的和不能規模。
步驟3。限製和監控你的計算。執行查詢的計算集群應受限製ssh和網絡訪問保護。這可以防止任意安裝包,並確保你隻使用定期掃描的圖像漏洞,不斷監測來驗證。這可以通過簡單地點擊:磚來完成“啟動集群。“完成!
上麵的磚使它很容易。動態IP訪問列表允許管理員訪問工作區隻能從他們的企業網絡。此外,私人之間的聯係確保整個網絡流量用戶集群- >磚- > - >數據保持在雲提供商網絡。每個集群啟動啟動與圖像掃描漏洞並鎖定,這樣變化,違反合規可以限製——這一切都是內置集群工作區創建和啟動。
安全數據
挑戰與數據安全/保護數據是數據湖湖的大量數據,可以有不同的分類和敏感。通常由用戶通過訪問這些數據,可以包含不同的產品和服務PII數據。你如何提供數據訪問100 / 1000的工程師同時確保他們隻能訪問數據可以嗎?
PII刪除數據
PII土地進入數據湖之前,刪除數據。在許多情況下,這應該是可能的。這已經被證明是最成功的路線,減少合規的範圍,並確保兩個用戶不能偶然地使用PII /泄漏數據。有幾種方法可以做到這一點,但把這作為你的攝取是最好的方法。如果你必須有數據可分為PII湖的數據一定要建立在功能查詢和刪除它如果需要(通過CCPA,GDPR)。這篇文章演示了如何通過使用這個三角洲。
強大的訪問控製
大多數企業有某種形式的數據分類。訪問控製策略取決於數據存儲在數據湖。如果數據分類的不同分類下分離到不同的文件夾,然後在我的角色映射到隔離存儲使清潔分離,和用戶/組的身份提供商可以關聯到一個或多個角色。如果這種方法足以容易規模比實現細粒度的訪問控製。
如果數據對象級別的分類定義,或需要實現訪問控製的行/列/記錄水平,建築需要一個集中的訪問控製層,可以在每個查詢執行細粒度的訪問控製策略。這應該是集中的原因是可能有不同的工具/產品湖訪問數據,並為每個需要維護的政策有不同的解決方案在多個地方。有產品在這個地區豐富的功能屬性的訪問控製和雲提供商也實現這個功能。獲勝者將有正確的組合的易用性和可伸縮性。
無論你做什麼,重要的是要確保你可以訪問回到個體用戶屬性。查詢執行的用戶應該承擔的身份和角色,用戶訪問數據之前,它將不僅給你細粒度的訪問控製,還提供合規的要求審計跟蹤。
加密
加密不僅作為一種獲得第三方的數據基礎設施的“所有權”,但也可以作為一個額外的訪問控製層。使用雲提供商密鑰管理係統/第三方,因為他們是緊密集成與服務。實現相同級別的集成的雲服務你想使用第三方加密提供者幾乎是不可能的。
企業想要額外英裏安全應配置政策customer-managed密鑰用於加密/解密數據與存儲文件夾的訪問控製相結合。這種方法可以確保用戶管理存儲環境之間職責分離和那些需要訪問存儲環境中的數據。即使創建新的角色我訪問他們的數據將不會被授權訪問公裏鑰解密,從而創建一個二級的執行。
開啟你的數據湖的潛力
數據的真正潛力湖泊隻能意識到當數據在湖裏可以所有的工程師和科學家們想使用它。完成這需要一個強大的安全織物編織進數據平台。Beplay体育安卓版本建立這樣一個數據平台,還可以擴展到所有用戶Beplay体育安卓版本在全球範圍內是一個複雜的任務。磚提供這樣一個平台,是受信任的一些世界上最大的公司他們Beplay体育安卓版本AI-driven未來的基礎。
了解更多關於其他步驟創建一個簡單的旅程,可伸縮的,生產使用的數據平台,準備下麵的博客Beplay体育安卓版本