從dataframes創建永久視圖?

[bdugar]

你好:

可以創建臨時視圖在pyspark使用dataframe (df.createOrReplaceTempView()),它可以創建一個永久的視圖在火花SQL。但據我所知,沒有辦法從dataframe創建一個永久的視圖,類似df.createView ()。

這完全是讓我覺得很困惑,顯然環境支持永久的觀點,並從dataframes它支持創建視圖。有很多場景使用python構建複雜的查詢更方便而不是試圖構造一個SQL字符串和執行在一個上下文。

是支持這個計劃最終的東西嗎?是磚受製於任何火花決定實現在這個級別?我有一個偉大的原因,不了解的人引發的內部運作,俯瞰為什麼這是不可能的或很困難嗎?

謝謝,

布萊斯

[Kaniz]

嗨@Bryce Dugar,請檢查這個請求。它提到創建一個永久的觀點,引用一個快速視圖無效。

是的,你是正確的,PySpark沒有方法來創建一個永久的視圖,例如,createTempView和createOrReplaceTempView。可以隻創建一個臨時的觀點。但是你可以運行SQL查詢的。

[bdugar]

嗨Kaniz:

這是我能明白我所做的研究,我很好奇為什麼不能從dataframes創建永久性的看法,是否這是一個可能實現的特性由磚或火花。可以創建臨時視圖,和永久的觀點存在,所以就像有一個奇怪的兩者之間的差距,如果滿有很多實用程序。它會不同如果dataframes不能創造任何視圖,或者永久的觀點根本不存在。但也許有我不知道的東西。

還有,如果你打算聯係我看不出一個可點擊的鏈接或任何你的消息,不知道什麼拉請求你引用。