取消
顯示的結果
而不是尋找
你的意思是:

Databricks-Connect顯示不同的分區比磚三角洲表相同

s_plank
新的貢獻者三世

你好,

這是一個小代碼片段:

從pyspark。sql進口SparkSession火花= SparkSession.builder.appName (example_app) .getOrCreate()火花。sql(顯示分區database.table),告訴()

Databricks-Notebook內部的輸出:

+ - - - - - - - - - - - - - + - - - - - - - - - - - - - - - - - - - - - - - - - - - - - + | projectNumber | plantId | | +名字- - - - - - - - - - - - - + - - - - - - - - - - - - - - - - - - - - - - - - - - - - - + | xxxx | P0 | * * * .yyyy ............| | yyyy | P2 | * * * .yyyy ............|……

當我運行相同的代碼如上所述在Visual Studio代碼,連接到同一個集群通過Databricks-Connect,我收到這個輸出:

+ - - - - - - - - - - - - | + |分區+ - - - - - - - - - - - - + | xxxx | | yyyy |…

這個輸出錯誤的列名稱和隻顯示第一個分區。

這是奇怪的。一切都是相同的輸出應該是一樣的。

我收到正確的分區通過sql-describe databricks-connect和磚:

火花。sql(描述表database.table),告訴()+ - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - + + | col_name | data_type |評論| + - - - - - - - - - - - - - - - - - - - - - - - - - - - - - + - - - - - - - + #分區| | | | | 0 |一部分projectNumber | | | |第1部分plantId | | | |第2部分名稱| | + - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - + +

表是一個差值表,位於一個azure blob存儲。

我試著刷新表但這沒有區別。

我發現了一個不同Spark-UI SQL選項卡。

有3查詢db-connect運行和4的磚。

物理執行計劃是相同的,但第二個查詢”執行ShowPartitionsDeltaCommand”缺少db-connect來看。

db-connect查詢:

  • 執行ShowPartitionsDeltaCommand |輸出:[projectNumber、plantId、名稱]
  • 更大的執行計劃(相同的在這兩種情況下)|輸出:[projectNumber、plantId、名稱]
  • LocalTableScan |輸出:(分區]

查詢數據磚:

  • 執行ShowPartitionsDeltaCommand |輸出:[projectNumber、plantId、名稱]
  • 更大的執行計劃(相同的在這兩種情況下)|輸出:[projectNumber、plantId、名稱]
  • 執行ShowPartitionsDeltaCommand |輸出:[projectNumber、plantId、名稱]
  • LocalTableScan |輸出:[projectNumber、plantId、名稱]

´我不知道為什麼但2分區迷路db-connect查詢。

什麼好主意嗎?

1接受解決方案

接受的解決方案

User16763506477
貢獻者三世

嗨@Stefan板材

似乎有一些問題磚連接和SQL查詢。你能試著SQL連接器嗎?

更多信息:https://docs.m.eheci.com/dev-tools/python-sql-connector.html嗎?

通常推薦使用一個SQL連接器如果您使用Python開發SQL查詢。

更多信息:https://docs.m.eheci.com/dev-tools/databricks-connect.html概述

我如果這對你有用。

在原帖子查看解決方案

6個回答6

werners1
尊敬的貢獻者三世

醫生說三角洲湖的sql api支持,所以我認為他們會返回相同的結果。

但顯然並非如此。

你用的是什麼版本的db-connect嗎?

s_plank
新的貢獻者三世

9.1.9 db-connect版本

集群db-runtime 9.1 LTS

Python 3.8.10

User16763506477
貢獻者三世

嗨@Stefan板材

似乎有一些問題磚連接和SQL查詢。你能試著SQL連接器嗎?

更多信息:https://docs.m.eheci.com/dev-tools/python-sql-connector.html嗎?

通常推薦使用一個SQL連接器如果您使用Python開發SQL查詢。

更多信息:https://docs.m.eheci.com/dev-tools/databricks-connect.html概述

我如果這對你有用。

jose_gonzalez
主持人
主持人

嗨@Stefan板材,

隻是檢查你是否仍然需要幫助。做@Gaurav Rupnar建議幫助你解決你的問題?

歡迎來到磚社區:讓學習、網絡和一起慶祝

加入我們的快速增長的數據專業人員和專家的80 k +社區成員,準備發現,幫助和合作而做出有意義的聯係。

點擊在這裏注冊今天,加入!

參與令人興奮的技術討論,加入一個組與你的同事和滿足我們的成員。

Baidu
map