我試圖使用SQL,但是createOrReplaceTempView (“myDataView”)失敗

[MikeBrewer]

我試圖使用SQL,但是createOrReplaceTempView (“myDataView”)失敗。

我可以創建和顯示DataFrame罰款……

熊貓作為pd df = pd.DataFrame導入([“3000000美元”,“3000美元”,“200.5”,“5.5美元”),列=[‘量’])df

我添加另一個細胞,但它失敗……

df.createOrReplaceTempView (“myDataView”)

我得到這個錯誤. .

“DataFrame”對象沒有屬性“createOrReplaceTempView”

我在網上看到這個例子分配,但不明白為什麼這對我來說失敗。我用

Community edition。6.5(包括Apache火花2.4.5,Scala 2.11)

[werners1]

我從來沒有接觸過熊貓火花,但熊貓dataframe不是火花dataframe一樣。

你需要把它轉換成一個火花dataframe首先考拉初版

https://koalas.readthedocs.io/en/latest/user_guide/pandas_pyspark.html pyspark

[acorson]

你需要把熊貓DF DF火花。使Apache箭頭將會使這個過程更快。

從https://docs.m.eheci.com/spark/latest/spark-sql/spark-pandas.html:

進口numpy pd np進口熊貓 啟用Arrow-based柱狀數據傳輸

park.conf.set (“spark.sql.execution.arrow。啟用”、“真正的”)

生成一個熊貓DataFrame

df = pd.DataFrame (np.random。蘭特(100 3))

創建一個火花DataFrame從熊貓DataFrame使用箭頭

f = spark.createDataFrame (pdf)

火花DataFrame轉換回一個熊貓DataFrame使用箭頭

esult_pdf = df.select (“*”) .toPandas ()

[sachinthana]

這是為我工作。謝謝@acorson