10.4 lts已經過時的雪花火花連接器,如何迫使最新雪花火花連接器

[DSam05]

你好,

我試圖從scala fatjar azure-databricks,運行我的代碼連接到雪花的數據。

我通常9.1 LTS上運行我的jar。

然而當我運行在10.4 LTS性能4 x退化,在日誌中

警告SnowflakeConnectorUtils美元:查詢不支持疊加,因為您正在使用火花3.2.1連接器用來支持火花3.1。使用的版本支持的火花連接器或安裝一個版本的連接器,支持您的版本的火花。

我檢查了司機日誌和10.4 LTS似乎已經預裝版本的雪花火花連接器net.snowflake: spark-snowflake_2.12:2.9.0-spark_3.1(還提到在這裏)

盡管我已經把最新的雪花火花連接器(net.snowflake: spark-snowflake_2.13:2.10.0-spark_3.2)在我fatjar磚選擇預裝一隻。

有人遇到這個問題?知道一個解決方案。

謝謝

[Atanu]

低DBR工作正常@Soumyajit達塔嗎?

[Kaniz]

嗨@Soumyajit達塔,我們一直沒有收到你最後的回應@Atanu Sarkar,我檢查是否你有一個決議。如果你有任何解決方案,請與社區分享,因為它可以幫助別人。否則,我們將與更多的細節和試圖幫助回應。

[slavat]

我也遇到過類似的問題。這是我的日誌文件的一個片段:

22/12/18 09:36:28警告SnowflakeConnectorUtils美元:查詢疊加不支持,因為您正在使用火花3.2.0連接器用來支持火花3.1。使用的版本支持的火花連接器或安裝一個版本的連接器,支持您的版本的火花。22/12/18 09:36:29信息SparkConnectorContext美元:火花連接器係統配置:{“spark_connector_version”:“2.9.0”、“spark_version”:“3.2.0”、“application_name”:“磚殼”,“scala_version”:“2.12.14”、“java_version”:“11.0.12”、“jdbc_version”:“3.13.3”、“certified_jdbc_version”:“3.13.3”、“os_name”:“Linux”,……}

不應該的versionioning雪花連接器是透明的,我(我使用了一個由磚)?