使合規安全概要
如果一個磚的工作區合規安全概要啟用,工作區有額外的監控,執行實例類型節點間加密、硬計算圖像和其他特性和控製。有關詳細信息,請參見功能和技術控製。
合規安全性配置文件包含控製,幫助滿足適用的安全要求的合規標準。
使合規安全配置文件需要使用磚過程監管合規標準:在下列的數據
您可以選擇啟用合規安全概要為其增強的安全特性而不需要符合合規標準。
聯係你的磚代表使合規安全概要。選擇你想如何使合規安全概要:
帳戶級別:你可以選擇合規安全概要文件應用到您的帳戶,在這種情況下,所有現有的和未來的工作空間的賬戶使用安全配置文件。
工作水平:您可以指定工作空間的安全性配置文件啟用。
重要的
如果你創建額外的工作區後,是你的責任聯係你的磚代表請求實施合規安全概要文件在你的新工作空間。
計算資源得到增強的安全
合規安全概要改進適用於計算資源經典的數據平麵,如集群和non-serverless SQL倉庫。這適用於所有地區。
Serverless SQL倉庫支持合規安全概要因地區而異。看到Serverless SQL倉庫支持合規安全概要文件在某些地區。
使合規安全概要
準備任何現有的工作空間,將使用合規安全概要。看到準備一個工作區合規安全配置文件。
聯係你的磚代表和請求使合規安全概要。
決定你是否想要使它在帳戶級別或者隻是一些工作區。
如果你想讓它隻是對於一些工作區,發送的工作區id列表工作區為概要文件,您想使用。得到一個工作空間ID從URL當你使用工作區。尋找
o =在URL中。數量後o =是磚工作區ID。例如,如果URL是什麼https:// < databricks-instance > / ? o = 6280049833385130工作區ID6280049833385130。等待確認的磚,現在這個概要文件啟用。
重要的
你收到通知後啟用了這個概要文件,設置可能需要額外的六個小時傳播到所有的環境,包括全球地區和下遊係統計費。積極運行的工作負載繼續活躍時的設置啟動集群或其他計算資源,和新設置將開始申請下次開始這些工作負載。這意味著,如果當天晚些時候進行修改或在每月的最後一天,你仍然會看到使用報告第二天或月初舊的設置。請相應的計劃。
如果任何集群或SQL倉庫運行,重新啟動它們。如果您有許多集群運行,隻想重新啟動的開始實施之前,您可以使用一個腳本,磚提供確定開始時間之前啟用日期。
現在配置文件設置已經完成,根據需要創建或使用磚計算資源。
長時間運行的集群
如果你使合規安全概要為您的帳戶或工作區,默認情況下長時間運行的集群自動重啟後25天。磚建議工作區管理員定期重新啟動集群運行前25天,這樣做在一個預定的維護窗口。這樣可以減少雙方的風險破壞計劃的工作。
如果你想手動重啟長期運行的集群,您可以使用一個腳本,磚規定,可以確定您的集群已運行多長時間,並選擇重新啟動它們。看到筆記本的例子:找到長期運行的集群。
請注意
如果你的工作空間的一部分集群的公共預覽自動更新,這種行為是不同的。隻有更新需要計算資源自動重啟。你可以選擇一個定期每月或每月安排,在這種情況下,二十五天的限製並不適用,遺留工作空間設置自動重啟的長時間運行的集群將被忽略。
準備一個工作區合規安全配置文件
一些措施是必要的準備合規安全概要的工作區。如果您尚未啟用安全性配置文件,遵循這些步驟之前要求啟用安全性配置文件。
如果啟用了安全性配置文件已經在一個帳戶級別和你創建任何新工作空間,你必須遵循以下步驟在您創建任何新工作區。
如果你使合規安全概要你的帳戶或工作區,長時間運行的集群自動重啟後25天。如果任何集群運行25天或更長時間啟用合規安全概要時,集群立即重啟,導致運行作業失敗。相反,檢查長時間運行的集群之前啟用安全性配置文件。這樣可以減少雙方的風險破壞計劃的工作。檢查您的集群已運行多長時間並重新啟動運行的任何已超過20天(25天)降低集群的風險被雙方25天後當啟用安全性配置文件。看到重新啟動集群。
請注意
如果你的工作空間的一部分集群的公共預覽自動更新,這種行為是不同的。隻有更新需要計算資源自動重啟。你可以選擇一個定期每月或每月安排,在這種情況下,二十五天的限製並不適用,遺留工作空間設置自動重啟的長時間運行的集群將被忽略。
添加所需的網絡端口。
工作區與PrivateLink端連接:你必須做出改變來支持如果工作區使用FIPS加密PrivateLink私人之間的連接端連接的經典數據平麵在AWS帳戶和磚的磚控製平麵的帳戶。
其中的一個網絡要求PrivateLink後端連接是創建一個單獨的端點安全組,允許HTTPS / 443和雙向訪問TCP / 6666(和)工作區子網和端點子網本身。這種配置允許訪問REST api(端口443)和安全集群連接(6666)。然後,您可以使用安全組的目的。
為FIPS加密支持即將到來的變化,更新您的網絡安全組另外允許雙向訪問為FIPS 2443端口連接。總組端口允許雙向訪問是443年,2443年和6666年。
工作區沒有PrivateLink端連接:如果工作區不使用PrivateLink私人連接端連接但工作區配置為限製境外網絡訪問,你需要讓交通額外端點支持FIPS端點。
為FIPS加密支持即將到來的變化,更新您的網絡安全組(或防火牆)允許出境訪問的數據平麵FIPS控製飛機在端口2443上的連接。這是除了輸出端口443訪問你需要允許了。相關的相關信息安全組和防火牆配置customer-managed vpc,明白了安全組和配置防火牆和出站訪問(可選)。
如果任何工作都是在美國東部地區,美國西部地區,或加拿大(中央)地區,限製出站配置網絡訪問,你需要讓交通其他端點支持FIPS端點。記住,如果你使用這些地區現在不限製的訪問,如果你在未來限製的訪問,您將需要重新審視這一步。
S3服務,你必須確保你的經典數據平麵網絡AWS帳戶允許外向交通AWS雲服務的端點S3和FIPS變體S3服務的前綴
s3-fips。這適用於S3服務而不是STS和運動的端點。S3,允許輸出流量的端點
s3。<地區> .amazonaws.com和s3-fips。<地區> .amazonaws.com。例如s3.us -東- 1. - amazonaws.com和s3 fips.us -東- 1. amazonaws.com。STS,允許輸出流量的端點
sts。<地區> .amazonaws.com。對於運動,使輸出流量的端點
運動。<地區> .amazonaws.com。
每個工作區使用配置文件,運行以下測試來驗證,這一改變是正確應用:
啟動與司機和1的磚集群的工人,任何DBR版本,和任何實例類型。
創建一個筆記本連接到集群。使用這個集群為以下測試。
在筆記本上,驗證DBFS連接通過運行:
% fs ls / % sh ls / dbfs
確認文件清單似乎沒有錯誤。
在筆記本上,確認訪問的控製平麵的實例。從表中獲得地址本節並尋找VPC的Webapp端點區域。
% sh數控-zv < webapp-domain-name >443年例如,對於VPC地區
us-west-2:% sh數控-zv oregon.cloud.m.eheci.com443年確認結果表示,它成功了。
在筆記本上,確認訪問的SCC繼電器。從表中獲得地址本節並尋找VPC的SCC繼電器端點區域。
% sh數控-zv < scc-relay-domain-name >2443年例如,對於VPC地區
us-west-1:% sh數控-zv tunnel.cloud.m.eheci.com2443年確認結果表示,它成功了。
在筆記本上,確認訪問S3, STS,動作FIPS端點的地區。
請注意
這一步,FIPS為加拿大僅適用於S3服務端點。AWS尚未提供FIPS端點STS和運動。
% sh數控-zv < bucket名> .s3-fips。<地區> .amazonaws.com443年% sh數控-zv sts。<地區> .amazonaws.com443年% sh數控-zv運動。<地區> .amazonaws.com443年
例如,對於VPC地區
us-west-1:% sh數控-zv acme -公司- bucket.s3 fips.us -西方- 1. - amazonaws.com443年% sh數控-zv sts.us -西方- 1. amazonaws.com443年% sh數控-zv kinesis.us -西方- 1. amazonaws.com443年
確認所有三個命令的結果顯示成功。
在相同的筆記本,驗證集群配置火花點所需的端點。例如:
> > > spark.conf.get(“fs.s3a.stsAssumeRole.stsEndpoint”)“sts.us -西方- 1. amazonaws.com”> > > spark.conf.get(“fs.s3a.endpoint”)“s3 fips.us -西方- 2. amazonaws.com”
確認所有現有的集群和在所有受影響的工作區工作使用的實例類型支持的合規安全概要。確認或更改所有集群和就業的實例類型是下列之一:
ca5,C5ad,C5n,C6i,C6id,C6in,D3,D3en,G4dn,G5,I3en,I4i,M5dn,M5n,M5zn,M6i,M6id,M6idn,M6in,P3dn,R-fleet,R5dn,R5n,R6i,R6id,R6idn,R6in和磚艦隊實例的類型M-fleet,MD-fleet,RD-fleet。。以外的任何工作負載類型實例列表上麵會導致集群/工作未能啟動的
invalid_parameter_exception。
功能和技術控製
的主要增強合規安全概要影響磚的工作區中計算資源的經典的數據平麵。對於serverless SQL倉庫,支持不同的地區。
增強功能包括:
一個增強的磁盤映像(aCIS-hardenedUbuntu的優勢工人形象)。
集群自動重啟後25天,得到最新的AMI的最新安全更新。如果你使合規安全概要你的帳戶或工作區,長時間運行的集群自動重啟後25天。磚建議工作區管理員重新啟動集群可能競選25天當啟用安全性配置文件,這樣做在一個預定的維護窗口。這樣可以減少雙方的風險破壞計劃的工作。您可以使用一個腳本,磚規定,可以確定您的集群已運行多長時間,並選擇重新啟動它們。看到重新啟動集群。
請注意
如果你的工作空間的一部分集群的公共預覽自動更新,這種行為是不同的。隻有更新需要計算資源自動重啟。你可以選擇一個定期每月或每月安排,在這種情況下,二十五天的限製並不適用,遺留工作空間設置自動重啟的長時間運行的集群將被忽略。
安全監控代理生成日誌,你可以檢查。兩個監控代理運行在計算資源(集群工人)在您的工作空間中經典的數據平麵集群和讚成或典型的SQL倉庫。殺毒軟件的監控和文件完整性監測。
強製使用AWS硝基在集群和磚SQL SQL倉庫實例類型。實例類型僅限於那些提供hardware-implemented集群節點之間的網絡加密和加密本地磁盤的安寧了。這適用於集群為筆記本電腦和工作以及讚成或典型的SQL倉庫使用磚的SQL。支持的類型實例
ca5,C5ad,C5n,C6i,C6id,C6in,D3,D3en,G4dn,G5,I3en,I4i,M5dn,M5n,M5zn,M6i,M6id,M6idn,M6in,P3dn,R-fleet,R5dn,R5n,R6i,R6id,R6idn,R6in和磚艦隊實例的類型M-fleet,MD-fleet,RD-fleet。。通信出口使用TLS 1.2或更高版本,包括連接到metastore。
集群是有限的合規安全概要支持的版本。磚限製了磚的運行時版本的UI,並為不支持的磚不允許API請求運行時版本。支持版本磚運行時7.3 LTS及以上。
盾牌標誌出現在頁麵的右上方,隻是左邊的工作區名稱。看到確認合規安全配置文件啟用一個工作區。
磚跑兩個監控代理數據平麵:
殺毒
文件完整性監測
看到監控代理在磚計算圖像。
磁盤映像與增強的硬化
合規啟用安全性配置文件,磚計算資源(集群工人圖像)在你的經典數據平麵上使用一個增強的操作係統映像的基礎上Ubuntu的優勢。
Ubuntu的優勢是企業安全的包和支持開源基礎設施和應用程序包括以下:
一個順式1級硬化的形象。
FIPS 140 - 2 1級驗證加密模塊。
監控代理在磚計算圖像
合規啟用安全性配置文件時,有額外的安全監控代理,包括兩個代理中預裝的圖像用於磚計算資源的虛擬機。你不能禁用監控代理的增強的磁盤映像。
監控代理 |
描述 |
如何獲得輸出 |
|---|---|---|
文件完整性監測 |
監控文件完整性和違反安全邊界。這個監控代理中的工人VM集群上運行。 |
|
防病毒和惡意軟件檢測 |
每天掃描文件係統病毒。這個監控代理運行在vm在計算資源如集群和pro或典型的SQL倉庫。防病毒和惡意軟件檢測代理掃描整個主機操作係統的文件係統和磚的運行時容器文件係統。任何集群外的vm是其掃描範圍之外的。 |
|
漏洞掃描 |
掃描集裝箱主機(VM)對某些已知的漏洞和cf。磚的掃描圖像發生在代表環境。 |
請求掃描報告磚的形象代表。 |
文件完整性監測
數據平麵圖像包含一個文件完整性監測服務,提供運行時能見度和威脅檢測計算資源集群(工人)的經典數據平麵在您的帳戶。
文件完整性的監控係統在生成輸出審計日誌。配置審計日誌交付。JSON模式的新的可審計的事件特定於文件完整性監控,看到的審計日誌模式的安全監控。
重要的
是你的責任檢查殺毒軟件監控日誌。磚,在它的唯一的謹慎,評論這些日誌,但不承諾。如果代理檢測到一個惡意的活動,它是你的責任鑒定這些事件並打開一個支持與磚的票如果決議或補救需要磚的一個動作。磚可能采取行動的基礎上這些日誌,包括暫停或終止的資源,但不做任何承諾。
防病毒和惡意軟件檢測
平麵圖像增強的數據包括一個防病毒引擎檢測木馬、病毒、惡意軟件和其他惡意的威脅。防病毒監控掃描整個主機操作係統的文件係統和磚的運行時容器文件係統。任何集群外的vm是其掃描範圍之外的。
殺毒監視器輸出中生成審計日誌。要訪問這些日誌,管理員必須設置審計日誌交付Amazon S3 bucket。JSON模式的新的可審計的事件特定於防病毒監控,看到的模式的防病毒監測。
當一個新的虛擬機映像構建、更新簽名文件是包含在它。
重要的
是你的責任檢查殺毒軟件監控日誌。磚,在它的唯一的謹慎,評論這些日誌,但不承諾。如果代理檢測到一個惡意的活動,它是你的責任鑒定這些事件並打開一個支持與磚的票如果決議或補救需要磚的一個動作。磚可能采取行動的基礎上這些日誌,包括暫停或終止的資源,但不做任何承諾。
當一個新的AMI形象建立、更新簽名文件是包含在新的AMI的圖像。
漏洞掃描
脆弱性監控代理執行主機漏洞掃描的容器(VM)對某些已知的cf。
重要的
磚的掃描圖像發生在代表環境。
您可以請求從你的磚代表的漏洞掃描報告。
當漏洞被發現與這個代理,磚跟蹤SLA對其脆弱性管理和發布一個更新圖像時可用。你有責任定期重啟所有計算資源以保持圖像最新的圖像的版本。
請注意
如果你的工作空間的一部分集群的公共預覽自動更新,重新啟動集群隻有需要在預定的維護窗口。
監控代理的管理和升級
額外的監控代理使用的磁盤映像的經典數據平麵的計算資源升級係統的標準磚過程的一部分:
經典的數據平麵基礎磁盤映像(AMI)擁有,管理和修補磚。
磚提供和應用安全補丁發布新AMI磁盤映像。交貨時間表取決於發現漏洞的新功能和SLA。典型的交付是每兩到四個星期。
基礎數據平麵Ubuntu操作係統的優勢。
磚集群和pro或經典SQL倉庫默認是短暫的。發射後,集群和pro或經典SQL倉庫使用最新的可用的基本形象。舊版本,新集群的安全漏洞是不可用。
你負責重新啟動集群定期(使用UI或API),以確保他們使用最新的補丁主機虛擬機鏡像。
要求,磚可以共享一個磚筆記本確定工作區中運行的集群和主機超過指定數量的天,可選地,重新啟動集群。
請注意
如果你的工作空間的一部分集群的公共預覽自動更新,重新啟動集群隻有需要在預定的維護窗口。
監控代理數據的數據保留策略
監控日誌發送到自己的Amazon S3 bucket,你提供的配置審計日誌交付。保留、攝取和分析這些日誌是你的責任。
漏洞掃描報告和日誌保留至少一年的磚。您可以請求該漏洞報告從你磚的代表。
確認合規安全配置文件啟用一個工作區
確認一個工作區使用合規安全性配置文件,檢查它黃色盾牌標誌顯示在用戶界麵。
盾牌標誌出現在頁麵的右上方,左邊的工作區名稱:
如果您單擊工作區名稱,菜單顯示的列表你可以訪問的工作區。工作區,使合規安全性配置文件有一個盾牌圖標文字“合規安全概要”緊隨其後。
重要的
如果盾牌圖標失蹤一個工作區,合規啟用安全性配置文件,請聯係您的磚的代表。
檢查是否啟用後的任何現有的集群需要重啟
與合規安全性配置文件啟用一個工作區後,您需要重新啟動之前所創建的任何集群的支持,以確保它是使用合規安全概要增強和控製。
請注意
如果你的工作空間的一部分集群的公共預覽自動更新,你可能不需要這個腳本。集群自動重新啟動期間如果需要預定的維護窗口。
如果您有許多集群運行,隻想重新啟動的開始實施之前,您可以使用該腳本確定開始時間之前啟用日期。給定一個工作區URL,個人訪問令牌訪問REST api在這個工作區,啟用日期/時間,這個腳本返回一個列表的集群啟動和/或重啟之前實施的時間戳。腳本輸出集群ID和集群名稱。
進口請求進口json#這筆記本需要用戶級個人訪問令牌。這應該是存儲#在磚秘密的API(或相似的)和不應該硬編碼在一個筆記本上。#使用磚CLI或API添加一個秘密。CLI的例子:# $磚秘密創建範圍——YOUR_SCOPE_NAME範圍# $磚秘密把YOUR_KEY_NAME——splunk_env範圍鍵#配置範圍和下麵的鍵名。# = = = = = =更新下麵的下麵WORKSPACE_URL=“< WORKSPACE-URL-HERE >”令牌=dbutils。秘密。得到(範圍=“YOUR_SCOPE_NAME”,關鍵=“YOUR_KEY_NAME”)#應該配置以下之一:WORKSPACE_ENABLEMENT_TIME_UTC_MILLIS= <時間- - - - - -在- - - - - -UTC>#注意,米爾斯,例如1651366230000WORKSPACE_ENABLEMENT_TIME_FORMATTED=沒有一個-0000 #格式YYYY-MM-DD HH: MM: SS#例子“2022-06-01 15:01:01 -0700”# = = = = = =更新上麵如果WORKSPACE_ENABLEMENT_TIME_FORMATTED! =沒有一個:WORKSPACE_ENABLEMENT_TIME_UTC_MILLIS=datetime。strptime(WORKSPACE_ENABLEMENT_TIME_FORMATTED,“% Y - % m% d% H: % M: % S % z”)。時間戳()*1000年頭={“授權”:“持票人”+令牌}url=WORKSPACE_URL+“. . / api / 2.0 /集群/列表”響應=請求。請求(“獲得”,url,頭=頭,數據={})集群=json。加載(響應。文本)[“集群”]need_restart=[]為c在集群:start_time=c(“start_time”]last_start=start_time如果“last_restarted_time”在c:last_start=馬克斯(start_time,c(“last_restarted_time”])如果last_start< =WORKSPACE_ENABLEMENT_TIME_UTC_MILLIS:need_restart。附加((c(“cluster_id”),c(“cluster_name”)))如果(len(need_restart)= =0):打印(“所有集群已經重新啟動{}”。格式(WORKSPACE_ENABLEMENT_TIME_UTC_MILLIS))其他的:打印(“下麵的集群仍然需要重啟留在合規”)為(id,的名字)在need_restart:打印(“集群{},{}”。格式(id,的名字))