2017年創建如何訪問表

[比爾]

2017年工作時在我的碩士學位,我創建了一些表,我想再次訪問。那時我可以編寫SQL和找到他們,但今天不工作。我懷疑這與三角洲湖。

我必須做些什麼來獲得這些表嗎?

[Hubert_Dudek1]

你好,這是拚花的文件。加載數據作為DataFrame:

df = spark.read.parquet(“蜂巢dbfs: / /倉庫/ congresskmean /”)

最終,你可以注冊表文件,但您將需要指定的模式:

創建表table_name

(模式)

使用拚花

位置/蜂巢/倉庫/ congresskmean / ';

[比爾]

對不起,我忘了說,我這樣做在R和Python函數返回一個pyspark.sql.dataframe。DataFrame類型在R .我不能訪問,但你提供的信息,我發現了一些代碼,應該為R,但安裝工作。包失敗。

install.packages(箭頭)

庫(箭頭)

read_parquet (“myfile.parquet”)

install.packages(“箭頭”,回購= " https://arrow-r-nightly.s3.amazonaws.com ")

開發者版本也無法安裝。

[Hubert_Dudek1 · Accepted solution]

你不需要安裝任何東西。例如,你可以從R使用SQL注冊表在上麵的例子中。你也可以閱讀在R dataframe開箱即用的。許多例子:

https://docs.m.eheci.com/spark/latest/sparkr/overview.html

[比爾]

,做到了。謝謝