AWS膠水和磚

[dannylee]

你好,我們收到一個錯誤在運行膠工作,試圖連接和讀取數據磚SQL端點。

你好,我們收到一個錯誤在運行膠工作,試圖連接和讀取數據磚SQL端點。調用o104.load時發生一個錯誤。(磚)[DatabricksJDBCDriver](500051)查詢/錯誤處理語句。錯誤代碼:0,SQL狀態:TStatus (statusCode: ERROR_STATUS infoMessages: [* org.apache.hive.service.cli。HiveSQLException:配置數據表不可用。:48:47 org.apache.spark.sql.hive.thriftserver.HiveThriftServerErrors $: hiveOperatingError: HiveThriftServerErrors。scala: 65年,com.databricks.sql.hive.thriftserver.thrift.ErrorPropagationThriftHandler: runSafely: ErrorPropagationThriftHandler。scala: 124年,com.databricks.sql.hive.thriftserver.thrift.ErrorPropagationThriftHandler: ExecuteStatement: ErrorPropagationThriftHandler。scala: 73年,org.apache.hive.service.cli.thrift.ThriftCLIService: ExecuteStatement: ThriftCLIService。java: 429年,org.apache.hive.service.rpc.thrift.TCLIService處理器ExecuteStatement:美元getResult: TCLIService。java: 1437年,org.apache.hive.service.rpc.thrift.TCLIService處理器ExecuteStatement:美元getResult: TCLIService。java: 1422年,org.apache.thrift。ProcessFunction:過程:ProcessFunction相同的read()相同的查詢選項()沒問題如果我在當地pyspark集群中運行它,但是它沒有膠水。 I suspect it could be related to the GlueContext - has anyone run across this issue or have an idea what might be causing it?

相同的read()相同的查詢選項()工作正常,如果我在當地pyspark集群運行它,但是它沒有膠水。我懷疑這可能是有關GlueContext——有人遇到這個問題或有一個想法可能是由什麼原因導致的?

[dannylee]

嗨Vidula,還在研究這個問題。從企業團隊支持我們的源數據,我們建議嚐試查詢關鍵字dbsql端點。不知道這是工作或如果團隊意識到限製,但仍在等待從開發人員。

謝謝你的檢查;

[dannylee · Accepted solution]

你好@Vidula Khanna @Debayan穆克吉,

我想給你一個更新,可能有利於你未來的客戶,與我們合作@Pavan Kumar Chalamcharla通過大量的試驗和錯誤,我們找到了一個beplay体育app下载地址組合適合SQL端點和4.0數據表和膠水。

結合不會工作查詢選擇或數據表或查詢膠3.0。我們能夠成功地連接並執行一個數據表的選擇(作為子查詢):

(選擇1)subq

同樣,我們可以使用以下選項:

• partitionColumn
• 下界
• upperBound
• numPartitions

然而,我不是100%相信其bugfree和工作100%。工作成功和數據加載,但感覺其可疑的分區是否發生優化。

總的來說,其良好的進步!感謝@Pavan Kumar Chalamcharla讓我們的信息我們需要迭代通過不同的測試用例。

[Debayan]

謝謝你的更新,我們很高興知道這是工作。