我有幾個函數訪問同一個createorreplacetempview (“viewname”)。這是否造成任何問題具有多重功能的訪問在分布式環境中嗎?
def get_data_sql (spark_session data_frame data_element): data_frame.createOrReplaceTempView返回spark_session(“數據”)。sql (f”““從數據選擇id, {data_element}”" ")
我有這兩個函數調用上麵的函數。
def get_key (spark_session data_frame):返回get_data_sql (spark_session data_frame,鍵)
def get_value (spark_session data_frame):返回get_data_sql (spark_session data_frame,價值)
我應該創建臨時視圖在每個調用函數的一個單獨的名稱,以避免爭用/衝突?
我的理解是一旦視圖創建它持續整個會話和不會有問題與多個訪問在分布式環境中。
