當使用三角洲生活表與SQL語法ignoreMissingFiles選擇不工作,你得到錯誤。(見下圖)
特點:鏈接
https://learn.microsoft.com/en-us/azure/databricks/ingestion/auto-loader/options generic-options
這是SQL代碼為青銅層
創建或更新臨時現場直播表bronze_InventSite選擇_c0 LastProcessedChange_DateTime, _c1 DataLakeModified_DateTime, _c2 Start_LSN, _c3 End_LSN, _c4 DML_Action, _c5 Seq_Val, _c6 Update_Mask, _c7 RECID, _c8 DefaultDimension, _c9 DefaultInventStatusId, _c10名字,_c11 OrderEntryDeadlineGroupId, _c12 SiteId, _c13 TaxBranchRefRecId, _c14時區,_c15 IsReceivingWarehouseOverrideAllowed, _c16 DataAreaId, _c17分區,_c18 RECVERSION, _c19從cloud_files SYSROWVERSIONNUMBER (“/ mnt / d365fscm / ChangeFeed / InventSite”、“csv”地圖(“分隔符”、“,”,“頭”,“假”,“ignoreMissingFiles”,“真正的”))
這裏是SQL——代碼SCD2表:
創建或更新直播表silver_InventSite;應用到生活變化。silver_InventSite從流(live.bronze_InventSite)鍵(RECID)忽略NULL更新序列Start_LSN / * Start_LSN * /存儲為SCD 2型;
你也可以使用inferSchema。ignoreMissingFiles選項來處理文件被意外刪除之前完全處理,所以沒有相關的模式。
謝謝你,我得到它的工作是這樣的:
創建或更新臨時現場直播表bronze_InventSite選擇_c0 LastProcessedChange_DateTime, _c1 DataLakeModified_DateTime, _c2 Start_LSN, _c3 End_LSN, _c4 DML_Action, _c5 Seq_Val, _c6 Update_Mask, _c7 RECID, _c8 DefaultDimension, _c9 DefaultInventStatusId, _c10名字,_c11 OrderEntryDeadlineGroupId, _c12 SiteId, _c13 TaxBranchRefRecId, _c14時區,_c15 IsReceivingWarehouseOverrideAllowed, _c16 DataAreaId, _c17分區,_c18 RECVERSION, _c19從cloud_files SYSROWVERSIONNUMBER (“/ mnt / d365fscm / ChangeFeed / InventSite”、“csv”地圖(“分隔符”、“,”,“頭”,“假”,“模式”、“_c0字符串,_c1字符串,_c2字符串,_c3字符串,_c4字符串,_c5字符串,_c6字符串,_c7字符串,_c8字符串,_c9字符串,_c10字符串,_c11字符串,_c12字符串,_c13字符串,_c14字符串,_c15字符串,_c16字符串,_c17字符串,_c18字符串,_c19字符串"))