火花Sql連接器:

[Rahul_Samant]

我試圖從磚從azure sql數據庫讀取數據。sql azure數據庫創建端點與私人聯係。利用DBR 10.4 LTS集群和期望是連接器安裝前按文檔。

使用下麵的代碼獲取但java.lang.ClassNotFoundException:

df =火花。讀\

.format \ (“com.microsoft.sqlserver.jdbc.spark”)

.option (“url”、“xyz-server.database.windows.net”)\

.option(“數據表”,“測試”)\

.option \(“數據庫名”、“測試”)

.option(“用戶”、“測試”)\

.option(“密碼”,“abc”) \

.load ()

任何幫助都是讚賞

[artsheiko]

看來.option(“數據庫名”、“測試”)是多餘的需要包括數據庫名稱的url。

請確認您使用連接器兼容的集群的火花版本:Apache火花連接器:SQL Server和SQL Azure

[Rahul_Samant]

嗨@Artem Sheiko,

我讀的預裝DBR運行時,我們不需要擔心嗎?

另外根據你共享的鏈接。連接器隻有3.1。x DBR 10.4 LTS 3.2.X。這就是為什麼它不工作?

ConnectorMaven CoordinateSpark 2.4。x兼容的連接器

com.microsoft.azure: spark-mssql-connector: 1.0.2中

3.0火花。x兼容的連接器

com.microsoft.azure: spark-mssql-connector_2.12:1.1.0

3.1火花。x兼容的連接器

com.microsoft.azure: spark-mssql-connector_2.12:1.2.0

[artsheiko · Accepted solution]

你好,

我的觀點隻是來驗證您使用DBR兼容的版本。

不,它不是預裝,您需要使用maven坐標導入它。你可以看到在這裏如何進行安裝。

外殼安裝庫的列表中找到DBR 10.4 LTS發行說明。

[Rahul_Samant]

下麵我下調9.1 LTS和安裝。工作現在

3.1火花。x兼容的連接器

com.microsoft.azure: spark-mssql-connector_2.12:1.2.0