我們有工作代碼如下。
打印(f“{file_name}之前插入數”,datetime.datetime.now (), scan_df_new.count ())
print (scan_df_new.show ())
scan_20220908120005_10Before插入數2022-09-14 11:37:15.853588 3
+ - - - - - - - - - - - - - - - - - - - + - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - + - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - + +
| tran_id | t_store_id | scan_datetime | customer_id | updated_by |
+ - - - - - - - - - - - - - - - - - - - + - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - + - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - + +
20220816 | 1230000000000000004 | 4395 | 2022-09-08 03:00:01 | a51cee4264f1 |磚|
20220816 | 1230000000000000005 | 4394 | 2022-09-08 02:58:00 | a51cee4264f1 |磚|
20220816 | 1230000000000000006 | 4393 | 2022-09-08 03:00:04 | a51cee4264f1 |磚|
+ - - - - - - - - - - - - - - - - - - - + - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - + - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - + +
寫操作後的數據幀用於進一步的業務邏輯處理。這是工作。但最近我們正在觀察一個奇怪的行為,在數據幀中的數據是迷路。當淩晨檢查內容,甚至dataframe計數顯示空。
scan_df_new.write.format (jdbc)。選項(“url”, jdbcUrl)。選項(“數據表”,scan_table) .mode(“追加”).save ()
打印(f“插入”{file_name}後,datetime.datetime.now (), scan_df_new.count ())
print (scan_df_new.show ())
沒有一個
scan_20220908120005_10After插入數2022-09-14 11:37:18.372147 0
+ - - - - - - - - - - - - - - - - - - + - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - + +
| tran_id | t_store_id | scan_datetime | customer_id | updated_by |
+ - - - - - - - - - - - - - - - - - - + - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - + +
什麼最近改變了數據磚,這是影響呢?
這是感謝任何幫助。
謝謝
克利須那神
