如何解決問題,提升外部表統一目錄嗎?

[vexor]

我有一個問題與升級表統一目錄,我得到了錯誤:

簡介:

在SQL語句錯誤:

AnalysisException:

org.apache.hadoop.hive.ql.metadata.HiveException:

表calexception無法獲取。異常拋出時執行查詢:

選擇不同的“org.apache.hadoop.hive.metastore.model。MTable”NUCLEUS_TYPE、A0.CREATE_TIME A0.LAST_ACCESS_TIME, A0.OWNER, A0.RETENTION, A0.IS_REWRITE_ENABLED, A0.TBL_NAME, A0.TBL_TYPE, A0。從中環TBL_ID A0 A0 DBS左外部連接。DB_ID = B0。DB_ID A0的地方。TBL_NAME = ?和B0。“名字”= ?;UpgradeTableCommand ps_dev。“dd_omp”。“calexception”、“hive_metastore’。‘dd_omp’。“calexception”,假的,真的,假的,假的,假的,數據:com.databricks.backend.common.rpc.SparkDriverExceptions SQLExecutionException美元:

有人曾經和外部表升級到統一目錄類似的問題嗎?我找不到一個關於這個問題的線索。完整的錯誤信息。

這是我的火花在集群配置:

spark.sql.hive.metastore。這次1.2.1版本

hive.metastore.schema.verification.record。版本錯誤

spark.databricks.service。端口8787

spark.databricks.driver。enableUserContextForPythonAndRCommands真實

spark.sql.hive.metastore。jar / dbfs /磚/ hive_metastore_jars / *

hive.metastore.schema。驗證錯誤

spark.databricks.delta.preview.enabled真實

spark.databricks.service.server。使真正的

[Aviral-Bhardwaj]

@Michal夫請設置會議周日是時區@(電子郵件保護)我們將連接並試圖解決它

[vexor]

你能看看我的問題一次。我不能在周日開會。

[etsyal1e2r3]

你的錯誤是與蜂巢metastore這不是一個外部表。你能把查詢你使用嗎?你可能繭絲設置外部位置所需的雲路(和配置外部位置的數據選項卡)。基本上運行命令但之前添加位置管理這樣的道路……

#設置變量catalog_name = test_catalog schema_name = test_schema catalog_container = <目錄容器字符串> storage_account = <存儲賬戶字符串> blob_path = f”abfss: / / {catalog_container} @ {storage_account}.dfs.core.windows.net/ <文件夾路徑>“#創建目錄,如果不存在火花。sql (f“創建目錄如果不存在{catalog_name}管理位置的abfss: / / {catalog_container} @ {storage_account}.dfs.core.windows.net/'”) #創建模式,如果不存在火花。sql (f“創建模式如果不存在{catalog_name}。{schema_name}”) #文件讀入Dataframe df = spark.read.format (json) .load (blob_path) df.display ()

[vexor]

我的表在蜂巢metastore (hive_metastore.dd_omp.versioncompatibility)是一個外部表。我不明白為什麼我可以選擇並創建表統一Catolog沒有設置蜂窩版本1.2.1。

我有兩個問題:

1)當我不設置蜂窩版本在集群的高級選項然後我得到了錯誤:

“拚花不支持時間戳。看到蜂巢- 6384”

2)我發現以上問題的解決方案,我需要設置蜂窩版本至少1.2.1在高級選項的集群。當我做到了,我得到了錯誤,我在我的第一篇文章描述。