Lakehouse MySQL聯盟
預覽
這個特性是在公共預覽。
本文描述了如何設置Lakehouse聯合會在MySQL運行聯邦查詢數據不是由磚。更多地了解Lakehouse聯合會使用Lakehouse聯合運行查詢。
連接到一個MySQL數據庫使用Lakehouse聯合會,你必須創建下麵的磚統一目錄metastore:
一個連接你的MySQL數據庫。
一個外國目錄反映你的MySQL數據庫統一目錄,這樣您就可以使用統一目錄查詢語法和數據管理工具來管理數據磚用戶對數據庫的訪問。
在你開始之前
工作要求:
工作區為統一啟用目錄。
計算要求:
從你的磚運行的集群或網絡連接SQL倉庫到目標數據庫係統。看到網絡對Lakehouse聯合會的建議。
磚集群必須使用磚集群運行時13.1或更高版本和共享訪問模式。
SQL必須讚成或Serverless倉庫。
權限要求:
創建一個連接,你必須是一個metastore管理員或用戶
創建連接特權在統一目錄metastore連接到工作區。創建一個外國目錄,你必須有
創建目錄許可metastore和連接的所有者或有創建外國目錄特權的連接。
額外的權限需求中指定的每個任務部分。
創建一個連接
指定路徑和憑證的連接來訪問外部數據庫係統。創建一個連接,您可以使用瀏覽器或數據創建連接SQL命令在磚磚筆記本或SQL查詢編輯器。
權限要求:Metastore管理員或用戶創建連接特權。
在你的磚工作區,點擊
數據。在左窗格中,展開外部數據菜單並選擇連接。
點擊創建連接。
輸入一個用戶友好的連接名。
選擇一個連接類型MySQL。
為您的MySQL實例輸入下麵的連接屬性。
主機:例如,
mysql - demo.lb123.us -西方- 2. - rds.amazonaws.com港口:例如,
3306年用戶:例如,
mysql_user密碼:例如,
password123
(可選)單擊測試連接確認它的工作原理。
(可選)添加一個評論。
點擊創建。
數據。創建一個外國目錄
外國目錄鏡像數據庫在外部數據係統,這樣您就可以查詢和管理使用磚和統一訪問數據在數據庫目錄。創建一個外國目錄,您使用一個連接到數據源已經定義。
創建一個外國目錄,您可以使用瀏覽器或數據創建外國目錄SQL命令在磚磚筆記本或SQL查詢編輯器。
權限要求:創建目錄許可metastore和連接的所有權或創建外國目錄特權的連接。
在你的磚工作區,點擊
數據。單擊創建目錄按鈕。
在創建一個新的目錄對話框中,輸入一個名稱的目錄和選擇一個類型的外國。
選擇連接提供對數據庫的訪問,你想鏡子作為統一目錄編目。
點擊創造。
運行以下SQL命令在筆記本或磚SQL編輯器。物品在括號中是可選的。替換占位符的值:
<目錄名稱>:磚的目錄的名稱。<名稱>:連接對象路徑,指定了數據源和訪問憑證。
創建外國目錄(如果不存在]<目錄- - - - - -的名字>使用連接<連接- - - - - -的名字>;
支持下推
支持以下疊加計算:
過濾器
預測
限製
功能:部分、篩選器表達式。(字符串函數、數學函數、數據、時間和時間戳函數,和其他雜項功能,如別名,排序方式)
支持以下下推磚上麵運行時13.3 LTS和和SQL倉庫2023.40及以上版本的計算:
聚合
排序,當使用限製
以下不支持疊加:
連接
窗函數
數據類型的映射
當你閱讀從MySQL火花,地圖數據類型如下:
MySQL類型 |
火花類型 |
|---|---|
長整型數字(如果沒有簽署),小數 |
DecimalType |
非常小的整數,整數,整數,mediumint,短整型 |
IntegerType |
長整型數字(如果簽署) |
LongType |
浮動 |
FloatType |
雙 |
倍增式 |
char、枚舉集 |
CharType |
varchar |
VarcharType |
json、量變簡單文本,非常小的文本串 |
StringType |
二進製、blob varbinary varchar二進製 |
BinaryType |
,布爾 |
BooleanType |
日期,年 |
DateType |
日期時間、時間、時間戳* * |
TimestampType / TimestampNTZType |
非常小的整數(1)簽署被視為一個布爾和轉換成嗎BooleanType。看到https://dev.mysql.com/doc/connector-j/8.0/en/connector-j-reference-type-conversions.html。*當你閱讀從MySQL, MySQL時間戳映射到火花TimestampType如果preferTimestampNTZ=假(默認)。MySQL時間戳映射到TimestampNTZType如果preferTimestampNTZ=真正的。