當從雪花讀取數據是不正確的

問題你有一份工作,是使用Apache火花從雪花讀表,但Dataframe出現的時間數據是不正確的。如果你直接運行相同查詢雪花,正確的時間返回數據。導致時區值不正確設置。不匹配的時區值磚集群和Snowf……

0分鍾的閱讀時間

無法把字符串varchar

問題你想把一個字符串類型列varchar但它不工作。信息varchar數據類型(AWS | Azure | GCP)可在磚運行時8.0及以上。創建一個簡單的三角洲表,與一列類型字符串。% sql創建或替換表delta_table1使用δ(“col1”字符串);使用顯示表上新創建的助教……

0分鍾的閱讀時間

得到所有文件最後修改時間在自動加載程序和批處理作業

您正在運行一個流的工作自動加載程序(AWS | Azure | GCP)和想要得到的每個文件的最後修改時間存儲賬戶。指令的路徑文件被自動加載程序的文章描述了如何得到所有文件的文件名和路徑被自動加載程序。在本文中,我們建立在一塊…

1分鍾的閱讀時間

真空零保留導致數據丟失

問題你添加數據到三角洲表,但沒有預警數據消失。沒有明顯的錯誤消息。因為這可能發生當spark.databricks.delta.retentionDurationCheck.enabled設置為false,真空配置為保持0小時。% sql真空< name-of-delta-table >保留0小時或% sql真空delta. ' < delta_table_pa…

1分鍾的閱讀時間