我工作在一個python包,可以通過pip安裝。包將管理一個三角洲表用戶,和新版本的包可能需要這個表上運行遷移
這是一個好的格式使用?
def遷移(table_path): mm_path = f“{table_path} / _migration_marker”標誌= 0試題:= int (dbutils.fs標誌。頭(mm_path 10))除了異常e:如果“io。FileNotFoundException”str (e):打印(“移民標記未找到”)其他:e如果標記< 1:sql = f”“catalog.schema“創建表。表名…位置{table_path}”“spark.sql (sql) .count () = 1 dbutils.fs標誌。把(mm_path,標記,真的)if marker < 2: sql = f"""ALTER TABLE catalog.schema.tablename ...""" spark.sql(sql).count() marker = 2 dbutils.fs.put(mm_path, marker, True)
