我有一個問題與升級表統一目錄,我得到了錯誤:
簡介:
在SQL語句錯誤:
AnalysisException:
org.apache.hadoop.hive.ql.metadata.HiveException:
表calexception無法獲取。異常拋出時執行查詢:
選擇不同的“org.apache.hadoop.hive.metastore.model。MTable”NUCLEUS_TYPE、A0.CREATE_TIME A0.LAST_ACCESS_TIME, A0.OWNER, A0.RETENTION, A0.IS_REWRITE_ENABLED, A0.TBL_NAME, A0.TBL_TYPE, A0。從中環TBL_ID A0 A0 DBS左外部連接。DB_ID = B0。DB_ID A0的地方。TBL_NAME = ?和B0。“名字”= ?;UpgradeTableCommand ps_dev。“dd_omp”。“calexception”、“hive_metastore’。‘dd_omp’。“calexception”,假的,真的,假的,假的,假的,數據:com.databricks.backend.common.rpc.SparkDriverExceptions SQLExecutionException美元:
有人曾經和外部表升級到統一目錄類似的問題嗎?我找不到一個關於這個問題的線索。完整的錯誤信息。
這是我的火花在集群配置:
spark.sql.hive.metastore。這次1.2.1版本
hive.metastore.schema.verification.record。版本錯誤
spark.databricks.service。端口8787
spark.databricks.driver。enableUserContextForPythonAndRCommands真實
spark.sql.hive.metastore。jar / dbfs /磚/ hive_metastore_jars / *
hive.metastore.schema。驗證錯誤
spark.databricks.delta.preview.enabled真實
spark.databricks.service.server。使真正的
你的錯誤是與蜂巢metastore這不是一個外部表。你能把查詢你使用嗎?你可能繭絲設置外部位置所需的雲路(和配置外部位置的數據選項卡)。基本上運行命令但之前添加位置管理這樣的道路……
#設置變量catalog_name = test_catalog schema_name = test_schema catalog_container = <目錄容器字符串> storage_account = <存儲賬戶字符串> blob_path = f”abfss: / / {catalog_container} @ {storage_account}.dfs.core.windows.net/ <文件夾路徑>“#創建目錄,如果不存在火花。sql (f“創建目錄如果不存在{catalog_name}管理位置的abfss: / / {catalog_container} @ {storage_account}.dfs.core.windows.net/'”) #創建模式,如果不存在火花。sql (f“創建模式如果不存在{catalog_name}。{schema_name}”) #文件讀入Dataframe df = spark.read.format (json) .load (blob_path) df.display ()
我的表在蜂巢metastore (hive_metastore.dd_omp.versioncompatibility)是一個外部表。我不明白為什麼我可以選擇並創建表統一Catolog沒有設置蜂窩版本1.2.1。
我有兩個問題:
1)當我不設置蜂窩版本在集群的高級選項然後我得到了錯誤:
“拚花不支持時間戳。看到蜂巢- 6384”
2)我發現以上問題的解決方案,我需要設置蜂窩版本至少1.2.1在高級選項的集群。當我做到了,我得到了錯誤,我在我的第一篇文章描述。