你好,
我22 postgres表和需要實現的化合物2型和創建azure磚管道。但是我的項目團隊不想使用增量表的概念。人實現嗎?下麵就是我的計劃
試一試:
df_src = spark.read。jdbc (url = jdbcUrl_source表=“data_table_1”屬性= connectionProperties)
除了例外e:
print(“無法連接”)
打印(f“錯誤是:{e}”)
提高異常
試一試:
data_table_1_target_df = spark.read。jdbc (url = jdbcUrl_target表=“data_table_1”屬性= connectionProperties)
除了例外e:
打印(“目標路徑沒有找到”)
打印(f“錯誤是:{e}”)
提高異常
merged_data_df = spark.sql (“””
合並成target_table t
使用scd_data年代
在t。id = s.id
當匹配和t。狀態= TRUE然後
更新設置
t。effective_to_date = s.start_date,
t。狀態= FALSE
當不匹配
插入(id、cus_name年齡、effective_from_date effective_to_date,狀態)
值(s。id, s。cus_name, s。年齡、年代。start_date, s。end_date s.is_active)
”“”)
