問題與AWS膠水metacatalogue DBR 9.1……10.1

[Axel_IW]

我有一個簡單的Select語句SparkSQL

offers_df =(火花。sql (“”“SELECT * FROM三角洲。”“{}”“.format (TABLE_LOCATION)))

它運行在DBR 9.0和之前。

當改變DBR 9.1…10.1

我得到一個例外

org.apache.spark。SparkException:無法獲取表db三角洲org.apache.spark.sql.errors.QueryExecutionErrors .cannotFetchTablesOfDatabaseError美元(QueryExecutionErrors.scala: 1353)

spark_conf集群的

“spark_conf”: {“spark.hadoop.fs.s3a.canned。acl”:“BucketOwnerFullControl”、“spark.databricks.hive.metastore.glueCatalog。啟用”:“真正的”、“spark.hadoop.fs.s3a.acl.default ": " BucketOwnerFullControl "},

刪除glueCatalog條目時,Select語句。

問題:

如何使用AWS膠水目錄DBR 9.1 . .10.1 ?

如何配置spark_conf ?

[Kaniz]

你好@Axel_IW!我的名字叫Kaniz,我這裏的技術主持人。很高興認識你,謝謝你的問題!看看你的同行在社區中有一個回答你的問題。否則我將盡快給你回電。謝謝。

[jose_gonzalez]

嗨@Axel Schwanke,

我隻是做了一個對比DBR 9.1和10.1 DBR和膠水都有相同的庫版本。

DBR 9.1https://docs.m.eheci.com/release-notes/runtime/9.1.html

DBR 10.1https://docs.m.eheci.com/release-notes/runtime/10.1.html

你用一個高並發性或標準集群?

[Axel_IW]

沒有,隻是一個標準的集群。

一切工作DBR 9.0,但在9.1或更高版本的問題

[User16752242491]

海@Axel Schwanke我們目前有一個工程票提出解決這一問題,我們考慮問題是由於引起的(火花- 35531)的最新版本10. x

與此同時,請繼續使用DBR 9. x