你好,
我想寫一個三角洲表在我的磚從遠程火花會話實例在不同的集群與辛巴火花司機。我可以讀,但是當我試圖做一個寫,我得到以下錯誤:
{
df.write.format (jdbc) .mode SaveMode.Append .options(地圖(
" url " - > " jdbc:火花:/ /亞行- < host_id > .azuredatabricks.net: 443 /違約;運輸方式= http; ssl = 1; httpPath = < http_path >; AuthMech = 3; UID =令牌;PWD = <標記> ",
“數據表”- >“testtable”,
“驅動程序”- >“com.simba.spark.jdbc.Driver”
).save ()
}
java.sql。SQLFeatureNotSupportedException: [Simba][JDBC](10220) Driver does not support this optional feature.
在com.simba.spark.exceptions.ExceptionConverter。toSQLException(未知來源)
com.simba.spark.jdbc.common.SPreparedStatement.checkTypeSupported(未知源)
com.simba.spark.jdbc.common.SPreparedStatement.setNull(未知源)
org.apache.spark.sql.execution.datasources.jdbc.JdbcUtils .savePartition美元(JdbcUtils.scala: 677)
在org.apache.spark.sql.execution.datasources.jdbc.JdbcUtils。美元anonfun saveTable 1美元(JdbcUtils.scala: 856)
org.apache.spark.sql.execution.datasources.jdbc.JdbcUtils。美元anonfun saveTable美元$ 1 $改編(JdbcUtils.scala: 854)
在org.apache.spark.rdd.RDD。anonfun foreachPartition美元2美元(RDD.scala: 1020)
……
我目前使用“數據科學與工程”部分的集群連接,在先進的部分有細節通過JDBC / ODBC連接。一些指南表明使用SQL端點,這可能是我的問題,但我沒有權限來創建一個。一些帖子,比如StackOverflow,表明這是一個問題的自動提交功能,不支持的辛巴火花司機,但我不確定,我找不到一個火花或驅動程序選項,顯示關閉這個。
此外,所有的文檔做的火花。似乎寫操作時的一個筆記本磚服務器實例和遠程連接使用驅動程序示例。我丟失的文檔頁麵將在哪裏?
遠程火花實例
- - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -
火花版本:3.1.1
Scala版本:2.1210
辛巴從磚JDBC驅動程序:火花2.6.22
磚集群的設置
- - - - - - - - - - - - - - - - - - - - - - - -
Azure雲係統:
政策:不受限製的
集群模式:標準
自動定量:啟用
磚運行時版本:9.1 LTS(包括Apache 3.1.2, Scala 2.12)
工人和司機類型:Standard_DS3_v2
請讓我知道如果你需要任何其他信息來幫助我解決我的問題。
謝謝你！
凱
