問題與AWS膠水metacatalogue DBR 9.1……10.1

[Axel_IW]

我有一個簡單的Select語句SparkSQL

offers_df =(火花。sql (“”“SELECT * FROM三角洲。”“{}”“.format (TABLE_LOCATION)))

它運行在DBR 9.0和之前。

當改變DBR 9.1…10.1

我得到一個例外

org.apache.spark。SparkException:無法獲取表db三角洲org.apache.spark.sql.errors.QueryExecutionErrors .cannotFetchTablesOfDatabaseError美元(QueryExecutionErrors.scala: 1353)

spark_conf集群的

“spark_conf”: {“spark.hadoop.fs.s3a.canned。acl”:“BucketOwnerFullControl”、“spark.databricks.hive.metastore.glueCatalog。啟用”:“真正的”、“spark.hadoop.fs.s3a.acl.default ": " BucketOwnerFullControl "},

刪除glueCatalog條目時,Select語句。

問題:

如何使用AWS膠水目錄DBR 9.1 . .10.1 ?

如何配置spark_conf ?

[Axel_IW]

謝謝你的信息。

DBR 9.1是第一個版本,這個問題。

[Axel_IW]

重新測試2021-12-29

突然使用DBR 9.1原因不清楚(沒有改變環境,集群、筆記本等)。

DBR 10.0 - 10.2的問題依然存在

[匿名]

@Axel Schwanke——謝謝你的更新。我將通過信息。提前感謝你的耐心。

[Axel_IW · Accepted solution]

在DBR 10.3 beta測試成功。

問題不會發生在DBR 10.3 beta

[Kaniz]

嗨@Axel Schwanke,太棒了!

你願意你的答案標記為最好的?