取消
顯示的結果
而不是尋找
你的意思是:

火花持續對一個分區鋪文件

sage5616
價值貢獻

在火花,它可以創建一個持久的視圖在Azure BLOB分區鋪文件?視圖必須當集群可用重啟,無需重新創建視圖,因此它不能被臨時視圖。

我可以創建一個臨時查看,但不持久的觀點。以下代碼返回一個例外。

火花。sql(“創建視圖測試使用鑲花選項(路徑\“/ mnt /文件夾/ file.c000.snappy.parquet \”)”)
拋出ParseException:不匹配輸入“使用”期待{' (',' UP_TO_DATE”、“像”、“評論”、“分區”、“TBLPROPERTIES”}(1號線,pos 23)

大謝謝你帶一看:slightly_smiling_face:

1接受解決方案

接受的解決方案

sage5616
價值貢獻

這是為我工作的東西。希望這可以幫助別人:https://stackoverflow.com/questions/72913913/spark-persistent-view-on-a-partition-parquet-file/72914..。

創建視圖測試從parquet. select *“/ mnt / folder-with-parquet-file (s) / '

@Hubert杜德克& @Tomasz Bacewicz不幸的是你的答案並不是很有用。

注:我不能硬編碼列或動態定義表的DDL創建外部表。我需要拚花的模式文件推斷在表創建的文件,沒有明確的硬編碼的模式。

在原帖子查看解決方案

3回複3

托馬斯
貢獻者

你試過創建一個外部表上現有的鑲花數據?的觀點是建立在現有表的頂部在metastore注冊(不直接在文件)。

您將使用外部表的功能,在查詢中使用位置(https://docs.m.eheci.com/data-governance/unity-catalog/create-tables.html # create-an-external-table)

記住,指定的路徑應該是一個目錄,而不是一個特定的鑲花的文件。

Hubert_Dudek1
尊敬的貢獻者三世

視圖是select語句的實現。請注冊拚花作為一個外部表。

sage5616
價值貢獻

這是為我工作的東西。希望這可以幫助別人:https://stackoverflow.com/questions/72913913/spark-persistent-view-on-a-partition-parquet-file/72914..。

創建視圖測試從parquet. select *“/ mnt / folder-with-parquet-file (s) / '

@Hubert杜德克& @Tomasz Bacewicz不幸的是你的答案並不是很有用。

注:我不能硬編碼列或動態定義表的DDL創建外部表。我需要拚花的模式文件推斷在表創建的文件,沒有明確的硬編碼的模式。

歡迎來到磚社區:讓學習、網絡和一起慶祝

加入我們的快速增長的數據專業人員和專家的80 k +社區成員,準備發現,幫助和合作而做出有意義的聯係。

點擊在這裏注冊今天,加入!

參與令人興奮的技術討論,加入一個組與你的同事和滿足我們的成員。

Baidu
map