Lakehouse聯盟Microsoft SQL Server

預覽

這個特性是在公共預覽。

本文描述了如何設置Lakehouse聯合會在SQL Server上運行聯邦查詢的數據不是由磚。更多地了解Lakehouse聯合會使用Lakehouse聯合運行查詢。

連接到SQL Server數據庫使用Lakehouse聯合會,你必須創建下麵的磚metastore統一目錄:

  • 一個連接你的SQL Server數據庫。

  • 一個外國目錄反映你的SQL Server數據庫統一目錄,這樣您就可以使用統一目錄查詢語法和數據管理工具來管理數據磚用戶對數據庫的訪問。

在你開始之前

工作要求:

  • 工作區為統一啟用目錄。

計算要求:

  • 從你的磚運行的集群或網絡連接SQL倉庫到目標數據庫係統。看到網絡對Lakehouse聯合會的建議。

  • 磚集群必須使用磚集群運行時13.1或更高版本和共享訪問模式。

  • SQL必須讚成或Serverless倉庫。

權限要求:

  • 創建一個連接,你必須是一個metastore管理員或用戶創建連接特權在統一目錄metastore連接到工作區。

  • 創建一個外國目錄,你必須有創建目錄許可metastore和連接的所有者或有創建外國目錄特權的連接。

額外的權限需求中指定的每個任務部分。

創建一個連接

指定路徑和憑證的連接來訪問外部數據庫係統。創建一個連接,您可以使用瀏覽器或數據創建連接SQL命令在磚磚筆記本或SQL查詢編輯器。

權限要求:Metastore管理員或用戶創建連接特權。

  1. 在你的磚工作區,點擊數據圖標數據。

  2. 在左窗格中,展開外部數據菜單並選擇連接。

  3. 點擊創建連接。

  4. 輸入一個用戶友好的連接名。

  5. 選擇一個連接類型的SQL Server。

  6. 輸入以下連接屬性的SQL Server實例。

    • 主機

    • 港口

    • trustServerCertificate:默認為假。當設置為真正的,傳輸層使用SSL加密通道,繞過了證書鏈驗證信任。離開這個設置為默認的,除非你有一個特定的需要繞過信任驗證。

    • 用戶

    • 密碼

  7. (可選)單擊測試連接確認它的工作原理。

  8. (可選)添加一個評論。

  9. 點擊創建。

運行以下命令在筆記本或磚的SQL查詢編輯器。

創建連接<連接- - - - - -的名字>類型sqlserver選項(主機“<主機名>”,港口<口>的,用戶“用戶> <”,密碼“<密碼>”);

我們建議您使用磚秘密而不是純文本字符串為敏感值等憑證。例如:

創建連接<連接- - - - - -的名字>類型sqlserver選項(主機“<主機名>”,港口<口>的,用戶秘密(“< secret-scope >”,“< secret-key-user >”),密碼秘密(“< secret-scope >”,“< secret-key-password >”))

設置機密信息,請參閱保密管理。

創建一個外國目錄

外國目錄鏡像數據庫在外部數據係統,這樣您就可以查詢和管理使用磚和統一訪問數據在數據庫目錄。創建一個外國目錄,您使用一個連接到數據源已經定義。

創建一個外國目錄,您可以使用瀏覽器或數據創建外國目錄SQL命令在磚磚筆記本或SQL查詢編輯器。

權限要求:創建目錄許可metastore和連接的所有權或創建外國目錄特權的連接。

  1. 在你的磚工作區,點擊數據圖標數據。

  2. 單擊創建目錄按鈕。

  3. 在創建一個新的目錄對話框中,輸入一個名稱的目錄和選擇一個類型的外國。

  4. 選擇連接提供對數據庫的訪問,你想鏡子作為統一目錄編目。

  5. 輸入的名稱數據庫您想要鏡子作為一個目錄。

  6. 點擊創造。

運行以下SQL命令在筆記本或磚SQL編輯器。物品在括號中是可選的。替換占位符的值:

  • <目錄名稱>:磚的目錄的名稱。

  • <名稱>:連接對象路徑,指定了數據源和訪問憑證。

  • <數據庫名稱>:數據庫的名稱你想鏡子磚的一個目錄。

創建外國目錄(如果不存在]<目錄- - - - - -的名字>使用連接<連接- - - - - -的名字>選項(數據庫“<數據庫名稱>”);

支持下推

支持以下疊加計算:

  • 過濾器

  • 預測

  • 限製

  • 功能:部分、篩選器表達式。(字符串函數、數學函數、數據、時間和時間戳函數,和其他雜項功能,如別名,排序方式)

支持以下下推磚上麵運行時13.3 LTS和和SQL倉庫2023.40及以上版本的計算:

  • 聚合

  • 排序,當使用限製

以下不支持疊加:

  • 連接

  • 窗函數

數據類型的映射

當你閱讀從SQL Server火花,地圖數據類型如下:

SQL服務器類型

火花類型

長整型數字(無符號),小數,錢,數字,smallmoney

DecimalType

短整型

ShortType

int,非常小的整數

IntegerType

長整型數字(如果簽署)

LongType

真正的

FloatType

浮動

倍增式

char、nchar uniqueidentifier

CharType

nvarchar、varchar

VarcharType

xml文本,

StringType

二進製、地理、幾何、形象、時間戳、udt varbinary

BinaryType

位

BooleanType

日期

DateType

datetime, datetime, smalldatetime,時間

TimestampType / TimestampNTZType

*當你閱讀從SQL Server, SQL服務器日期時間被映射到火花TimestampType如果preferTimestampNTZ=假(默認)。SQL Server日期時間被映射到TimestampNTZType如果preferTimestampNTZ=真正的。