我有一個簡單的Select語句SparkSQL
offers_df =(火花。sql (“”“SELECT * FROM三角洲。”“{}”“.format (TABLE_LOCATION)))
它運行在DBR 9.0和之前。
當改變DBR 9.1…10.1
我得到一個例外
org.apache.spark。SparkException:無法獲取表db三角洲org.apache.spark.sql.errors.QueryExecutionErrors .cannotFetchTablesOfDatabaseError美元(QueryExecutionErrors.scala: 1353)
spark_conf集群的
“spark_conf”: {“spark.hadoop.fs.s3a.canned。acl”:“BucketOwnerFullControl”、“spark.databricks.hive.metastore.glueCatalog。啟用”:“真正的”、“spark.hadoop.fs.s3a.acl.default ": " BucketOwnerFullControl "},
刪除glueCatalog條目時,Select語句。
問題:
如何使用AWS膠水目錄DBR 9.1 . .10.1 ?
如何配置spark_conf ?