配置數據磚ODBC、JDBC驅動程序

本文描述了如何配置磚ODBC、JDBC驅動程序的連接您的工具或客戶磚。為工具或客戶特定的連接指令,明白了技術合作夥伴。

需求

在你開始之前,你需要確保你有適當的權限來連接數據磚,準備您的憑據和檢索連接細節。

權限需求

有兩個權限你可能需要連接到一個磚集群:

可以連接到允許連接到集群運行。
可以重新啟動允許自動觸發集群開始時其狀態終止連接。

訪問一個磚的SQL倉庫,你需要可以使用許可。磚SQL的倉庫將自動啟動如果是停了下來。

身份驗證需求

磚ODBC、JDBC驅動程序支持身份驗證通過使用個人訪問令牌或你的磚的用戶名和密碼。

說明如何生成一個令牌,請參閱磚個人訪問令牌。
用戶名和密碼身份驗證是可能的前提單點登錄是禁用的。

檢索連接細節

本節解釋如何檢索連接細節,你需要連接到磚。

獲得一個集群的連接細節

許多外部數據源建立連接,開發工具,或技術合作夥伴,您必須為您的集群提供連接細節。檢索連接細節,請執行以下操作:

登錄到你的磚工作區和去數據科學與工程或磚機器學習persona-based環境。
改變形象,請點擊下麵的圖標磚的標誌,然後選擇數據科學與工程或機器學習。
點擊計算在側邊欄。
選擇連接到一個集群。
導航到高級選項。
點擊JDBC / ODBC選項卡。
複製連接細節。

得到一個SQL的連接細節,倉庫

許多外部數據源建立連接,開發工具,或技術合作夥伴,您必須提供您的SQL的連接細節,倉庫。檢索連接細節,請執行以下操作:

登錄到你的磚工作區和去SQL persona-based環境。
改變形象,請點擊下麵的圖標磚的標誌,然後選擇SQL。
點擊SQL倉庫在側邊欄。
選擇連接到一個倉庫。
導航到連接細節選項卡。
複製連接細節。
或者,您可以單擊圖標的顯示技術合作夥伴或開發工具和遵循屏幕上的步驟來連接使用SQL倉庫的連接細節。

ODBC驅動程序

本節介紹的步驟配置ODBC驅動程序連接到磚。

ODBC驅動程序下載

審查的許可協議磚ODBC驅動程序在安裝軟件之前。

一些工具和客戶要求您安裝磚磚ODBC驅動程序建立連接,而其他嵌入司機,不需要單獨安裝。例如,使用場景桌麵,需要安裝的ODBC驅動程序,而最近的權力BI桌麵版本包括司機預裝和不采取行動是必要的。

去磚ODBC驅動程序適用於您的操作係統下載頁麵下載驅動程序。

下載相應的驅動程序的安裝程序之後你的平台,使用以下指令安裝和配置司機:Beplay体育安卓版本

安裝和配置Windows ODBC驅動程序

在Windows中,您可以設置一個數據源名稱(DSN)配置ODBC客戶端應用程序連接到磚。建立DSN配置,使用WindowsODBC數據源管理員。

下載最新的驅動程序版本的Windows,如果您還沒有這麼做的話)。看到ODBC驅動程序下載。
雙擊dowloadedmsi文件安裝驅動程序。安裝目錄是C: \程序文件\辛巴火花ODBC司機。
從開始菜單搜索ODBC數據源啟動ODBC數據源管理員。
導航到司機選項卡來驗證安裝驅動程序(辛巴火花ODBC驅動程序)。
去用戶DSN或係統DSN選項卡並單擊添加按鈕。
選擇辛巴火花ODBC驅動程序從列表中已安裝的驅動程序。
選擇一個數據源名稱並設置強製性的ODBC配置和連接參數。另請參閱ODBC驅動程序功能驅動程序配置。
點擊好吧創建DSN。

安裝和配置macOS的ODBC驅動程序

在macOS,您可以設置一個數據源名稱(DSN)配置ODBC客戶端應用程序連接到磚。建立DSN macOS,使用ODBC管理器。

安裝的ODBC管理器通過使用自製程序,或ODBC管理器下載然後雙擊下載的dmg文件來安裝它。
下載最新的驅動程序為macOS版本,如果您還沒有這麼做的話)。看到ODBC驅動程序下載。
雙擊dowloadeddmg文件安裝驅動程序。安裝目錄是/圖書館/辛巴/火花。
啟動ODBC管理器。
導航到司機選項卡來驗證安裝驅動程序(辛巴火花ODBC驅動程序)。
去用戶DSN或係統DSN選項卡並單擊添加按鈕。
選擇辛巴火花ODBC驅動程序從列表中已安裝的驅動程序。
點擊添加。
選擇一個數據源名稱和創建鍵值對設置強製性的ODBC配置和連接參數。另請參閱ODBC驅動程序功能驅動程序配置。
點擊好吧創建DSN。

安裝和配置Linux的ODBC驅動程序

在Linux中,您可以設置一個數據源名稱(DSN)配置ODBC客戶端應用程序連接到磚。建立DSN在Linux上,可以使用unixODBC驅動程序管理器。

安裝unixODBC。
下載最新的驅動程序版本的Linux,如果您還沒有這麼做的話)。看到ODBC驅動程序下載。

安裝的ODBC驅動程序。

RPM包:

sudo百勝——nogpgcheck localinstall simbaspark_ <版本> . rpm

DEB包:
```
sudo dpkg - simbaspark_ <版本>。deb
```

安裝目錄是/ opt /辛巴/火花。

定位odbc.ini驅動程序配置文件對應係統數據來源:
```
odbcinst - j
```
在文本編輯器中打開odbc.ini配置文件。
創建一個(ODBC數據來源)部分:
```
(ODBC數據源)磚=磚ODBC連接器
```
創建另一個具有相同名稱的部分作為你的DSN並指定配置參數以鍵-值對的形式。看到強製ODBC配置和連接參數有關如何設置配置參數的更多信息。另請參閱ODBC驅動程序功能驅動程序配置。
```
(磚)司機=< path-to-driver ><鍵>=<值>…
```

ODBC配置和連接參數

本節介紹了強製性的(除非另有說明)配置和連接ODBC驅動程序的參數。

配置	描述
司機	驅動程序安裝路徑
主機	磚服務器主機名
港口	443年
HTTPPath	磚計算資源的URL
SSL	1
ThriftTransport	2
模式(可選)	默認模式
目錄(可選)	默認目錄

驗證參數

驗證通過使用個人訪問令牌,設置以下配置:

配置	描述
AuthMech	3
UID	令牌
鬆材線蟲病	磚的個人工作區用戶訪問令牌

如果你想用你的磚憑證,然後UID和PWD設置為您的用戶名和密碼,分別。

定義在應用程序中使用的連接字符串,如下:

               司機= < path-to-driver >;主機= <服務器主機>;港口= 443;HTTPPath = < http-path >; ThriftTransport = 2, SSL = 1; AuthMech = 3; UID =令牌;PWD = < personal-access-token >
              

設置主機和HTTPPath配置您檢索到的值檢索連接細節。

DSN為非windows機器的例子

這裏有一些例子顯示如何設置DSN在不同的平台上根據你的身份驗證方法。Beplay体育安卓版本

當你與個人訪問令牌驗證,完成以下步驟:

設置的內容odbc.ini:

                (磚)司機=< path-to-driver >主機=<服務器主機>港口=443年HTTPPath=< http-path >ThriftTransport=2SSL=1AuthMech=3UID=令牌鬆材線蟲病=< personal-access-token >
               

集< personal-access-token >檢索到的令牌身份驗證需求。
設置主機、端口和HTTPPath配置您檢索到的值檢索連接細節。
使用ODBC應用程序通過設置中的DSN DSN連接字符串的房地產DSN =磚;。

ODBC驅動程序功能

本節提供了可選的ODBC驅動程序配置。

設置初始模式在ODBC

ODBC驅動程序允許您指定模式通過設置模式= < schema_name >作為連接配置。這相當於運行使用< schema_name >。

在ODBC ANSI sql - 92查詢支持

ODBC驅動程序接受SQL查詢ANSI SQL - 92年方言和磚SQL方言翻譯的查詢。然而,如果您的應用程序生成磚SQL應用程序直接或使用任何non-ANSI SQL - 92標準SQL語法具體磚,磚建議您設置UseNativeQuery = 1作為連接配置。設置,司機通過SQL查詢逐字磚。

提取ODBC的大型查詢結果

達到最佳性能時提取大型查詢結果,使用最新版本的ODBC驅動程序包括以下優化。

箭頭在ODBC序列化

ODBC驅動程序版本2.6.15以上中支持序列化格式,它使用一個優化的查詢結果Apache箭頭。

雲引進ODBC

上麵的ODBC驅動程序版本2.6.17和雲獲取支持,通過雲存儲功能,獲取查詢結果是建立在你的磚部署。使用雲獲取查詢結果中提取使用此功能,使用磚運行時的8.3或以上。

查詢結果上傳到內部DBFS存儲位置20 MB的Arrow-serialized文件。當司機發送獲取請求查詢完成後,磚生成並返回presigned url上傳的文件。然後ODBC驅動程序使用的url下載直接從DBFS結果。

雲拿隻用於查詢結果大於1 MB。直接從磚較小的檢索結果。

磚自動垃圾收集積累的文件,標記為刪除後24小時。這些標記文件完全是額外的24小時後刪除。

雲獲取隻是用於E2工作區。同時,相應的Amazon S3 bucket不能啟用了版本控製。如果你啟用了版本控製,你仍然可以使雲獲取遵循指令高級配置。

了解更多關於雲計算獲取架構,明白了我們如何實現高帶寬連接用BI工具嗎。

ODBC驅動程序指南

關於ODBC驅動程序的更多信息,請參閱安裝和配置指南:辛巴Apache火花ODBC連接器安裝和配置指南。磚的位置ODBC驅動程序的安裝和配置指南取決於你的平台:Beplay体育安卓版本

MacOS:/圖書館/辛巴/火花
Linux:/ opt /辛巴/火花
窗口:C: \程序文件\辛巴火花ODBC司機

JDBC驅動程序

本節介紹的步驟配置JDBC驅動程序連接到數據磚。

安裝磚JDBC驅動程序的Java項目

磚JDBC驅動程序是可用的Maven中央存儲庫。包括磚JDBC驅動程序在您的Java項目中,添加以下進入應用程序的pom.xml文件,如下所示。

請注意

以下版本值是可能發生變化。可用版本可供選擇,請參閱Maven中央存儲庫。

              <依賴>< groupId >com.databricks<ʇgroupId >< artifactId >databricks-jdbc< / artifactId ><版本>2.6.25-1> < /版本< / >的依賴
             

下載數據磚JDBC驅動程序

去磚JDBC驅動程序下載頁麵下載驅動程序。
司機是打包為一個JAR,它不需要安裝,可以添加到Java類路徑中。

自JDBC 2.6.25司機的名字是DatabricksJDBC42.jar,而遺留的司機的名字SparkJDBC42.jar。下載驅動程序之後,使用以下指令配置司機:

建築磚的連接URL驅動程序

連接使用一個個人訪問令牌,第一個得到服務器主機名和Http路徑從檢索連接細節。

JDBC連接URL一般形式如下:

              jdbc:磚:/ / <服務器主機名>:443;HttpPath = < Http路徑>[;財產=價值[;財產=價值]]
             

地點:

jdbc:磚:/ /(需要)被稱為subprotocol是恒定的。
服務器主機名(必需)是連接到服務器的地址。
Http路徑(需要)是磚計算資源的URL。
財產(可選的)是一個或多個連接屬性。看到JDBC驅動程序功能為更多的細節。

你應該避免通過JDBC URL設置憑證。相反,建議設置憑證的方式是通過通過屬性參數DriverManager:

使用個人訪問令牌驗證,設置以下屬性集合:

              字符串url = " jdbc:磚:/ / <服務器主機名>:443;HttpPath = < Http路徑>”;新java.util.Properties性質p = ();p。put (" PWD ", " < personal-access-token > ");DriverManager。getConnection (url, p);
             

地點:

鬆材線蟲病個人獲得的訪問令牌,你在嗎身份驗證需求。

建築遺產的連接URL火花司機

連接到磚使用火花的JDBC驅動程序,您需要建立一個連接URL,一般具有以下形式:

              jdbc:火花:/ / <服務器主機名>:443;HttpPath = < Http路徑>;運輸方式= Http; SSL = 1(;財產=價值[;財產=價值]]
             

地點:

jdbc:火花:/ /(需要)被稱為subprotocol是恒定的。
服務器主機名(必需)是連接到服務器的地址。
Http路徑(需要)是磚計算資源的URL。
財產(可選的)是一個或多個連接屬性。看到JDBC驅動程序功能為更多的細節。

司機也需要設置運輸方式和SSL屬性。磚推薦這些屬性的值http分別和1。

使用個人訪問令牌驗證,設置以下屬性集合:

              字符串url = " jdbc:火花:/ / <服務器主機名>;HttpPath = < Http路徑>;運輸方式= Http; SSL = 1”;新java.util.Properties性質p = ();p。put (" PWD ", " < personal-access-token > ");DriverManager。getConnection (url, p);
             

地點:

鬆材線蟲病個人獲得的訪問令牌,你在嗎身份驗證需求。

JDBC驅動程序功能

本節提供了可選的JDBC驅動程序的配置。同樣的功能適用於兩個磚和遺留的火花的司機。

ANSI sql - 92在JDBC查詢支持

遺留火花JDBC驅動程序接受ANSI SQL - 92方言的SQL查詢和查詢轉換成磚的SQL方言之前將它們發送到服務器。然而,如果您的應用程序生成磚SQL應用程序直接或使用任何non-ANSI SQL - 92標準SQL語法具體磚,磚建議您設置UseNativeQuery = 1作為連接配置。設置,司機通過SQL查詢逐字磚。

默認目錄和模式

指定默認的目錄和模式,添加ConnCatalog = <目錄名稱>;ConnSchema = <模式名稱>JDBC連接URL。

提取大在JDBC查詢結果

達到最佳性能時提取大型查詢結果,使用JDBC驅動程序的最新版本,它包含了以下優化。

在JDBC箭頭序列化

JDBC驅動程序版本2.6.16以上時支持序列化格式,它使用一個優化的查詢結果Apache箭頭。

雲引進JDBC

JDBC驅動程序版本2.6.19以上支持雲獲取能力,獲取查詢結果通過雲存儲中設置你的磚部署。使用雲獲取查詢結果中提取,使用磚運行時的8.3或以上。

查詢結果上傳到內部DBFS存儲位置20 MB的Arrow-serialized文件。當司機發送獲取請求查詢完成後,磚生成並返回presigned url上傳的文件。JDBC驅動程序然後使用url下載直接從DBFS結果。