Lakehouse聯盟亞馬遜紅移

預覽

這個特性是在公共預覽。

本文描述了如何設置Lakehouse聯合運行聯邦查詢在亞馬遜紅移數據不是由磚。更多地了解Lakehouse聯合會使用Lakehouse聯合運行查詢。

連接到亞馬遜使用Lakehouse紅移數據庫聯盟,你必須創建下麵的磚統一目錄metastore:

一個連接你的亞馬遜數據庫紅移。
一個外國目錄反映你的亞馬遜紅移數據庫統一目錄,這樣您就可以使用統一目錄查詢語法和數據治理工具來管理數據磚用戶對數據庫的訪問。

在你開始之前

工作要求:

計算要求:

從你的磚運行的集群或網絡連接SQL倉庫到目標數據庫係統。看到網絡對Lakehouse聯合會的建議。
磚集群必須使用磚集群運行時13.1或更高版本和共享訪問模式。
SQL必須讚成或Serverless倉庫。

權限要求:

創建一個連接,你必須是一個metastore管理員或用戶創建連接特權在統一目錄metastore連接到工作區。
創建一個外國目錄,你必須有創建目錄許可metastore和連接的所有者或有創建外國目錄特權的連接。

額外的權限需求中指定的每個任務部分。

創建一個連接

指定路徑和憑證的連接來訪問外部數據庫係統。創建一個連接,您可以使用瀏覽器或數據創建連接SQL命令在磚磚筆記本或SQL查詢編輯器。

權限要求:Metastore管理員或用戶創建連接特權。

在你的磚工作區,點擊數據。
在左窗格中,展開外部數據菜單並選擇連接。
點擊創建連接。
輸入一個用戶友好的連接名。
選擇一個連接類型的紅移。
為你的紅移實例輸入以下連接屬性。
- 主機:例如,紅移- demo.us -西方- 2. - redshift.amazonaws.com
- 港口:例如,5439年
- 用戶:例如,redshift_user
- 密碼:例如,password123
(可選)單擊測試連接確認它的工作原理。
(可選)添加一個評論。
點擊創建。

運行以下命令在筆記本或磚的SQL查詢編輯器。

               創建連接<連接- - - - - -的名字>類型紅移選項(主機“<主機名>”,港口<口>的,用戶“用戶> <”,密碼“<密碼>”);
              

我們建議您使用磚秘密而不是純文本字符串為敏感值等憑證。例如:

               創建連接<連接- - - - - -的名字>類型紅移選項(主機“<主機名>”,港口<口>的,用戶秘密(“< secret-scope >”,“< secret-key-user >”),密碼秘密(“< secret-scope >”,“< secret-key-password >”))
              

設置機密信息,請參閱保密管理。

創建一個外國目錄

外國目錄鏡像數據庫在外部數據係統,這樣您就可以查詢和管理使用磚和統一訪問數據在數據庫目錄。創建一個外國目錄,您使用一個連接到數據源已經定義。

創建一個外國目錄,您可以使用瀏覽器或數據創建外國目錄SQL命令在磚磚筆記本或SQL查詢編輯器。

權限要求:創建目錄許可metastore和連接的所有權或創建外國目錄特權的連接。

運行以下SQL命令在筆記本或磚SQL編輯器。物品在括號中是可選的。替換占位符的值:

<目錄名稱>:磚的目錄的名稱。
<名稱>:連接對象路徑,指定了數據源和訪問憑證。
<數據庫名稱>:數據庫的名稱你想鏡子磚的一個目錄。

               創建外國目錄(如果不存在]<目錄- - - - - -的名字>使用連接<連接- - - - - -的名字>選項(數據庫“<數據庫名稱>”);
              

支持下推

以下支持疊加:

過濾器
預測
限製
連接
總量(平均統計,最大值、最小值、StddevPop StddevSamp,和,VarianceSamp)
函數(字符串函數和其他雜項功能,如別名,演員陣容,排序方式)
排序

以下不支持疊加:

窗函數

數據類型的映射

當你閱讀從紅移到火花,地圖數據類型如下:

紅移的類型	火花類型
數字	DecimalType
int2, int4	IntegerType
int8 oid, xid	LongType
float4	FloatType
雙精度、float8錢	倍增式
bpchar, char,性格不同,名字,超級文本,tid、varchar	StringType
bytea、幾何、varbyte	BinaryType
,保齡球	BooleanType
日期	DateType
tabstime、時間和時區,timetz,時間沒有時區,時區的時間戳,時間戳,沒有時區* timestamptz、時間戳	TimestampType / TimestampNTZType

*當你閱讀從紅移,紅移時間戳映射到火花TimestampType如果infer_timestamp_ntz_type=假(默認)。紅移時間戳映射到TimestampNTZType如果infer_timestamp_ntz_type=真正的。