嗨,汽車逐步加載程序和有效的流程到雲存儲新的數據文件。自動加載程序可以加載數據文件從AWS S3 (S3: / /), Azure數據存儲Gen2湖(ADLS Gen2 abfss: / /),穀歌雲存儲(GCS, gs: / /), Azure Blob存儲(wasbs: / /), ADLS Gen1 (adl: / /),和磚文件係統(DBFS DBFS: /)。自動加載器可以攝取JSON、CSV、拚花,AVRO,獸人,文本和BINARYFILE文件格式。
自動加載器提供了一個結構化的流媒體稱為cloudFiles來源。給定一個輸入在雲端文件存儲目錄路徑,cloudFiles源自動流程為到達的新文件,選擇也處理現有文件的目錄。自動加載程序支持Python和SQL三角洲生活表。
您可以使用自動加載程序來處理數十億的文件遷移或回填表。自動加載程序擴展到支持實時攝取數以百萬計的文件每小時。
請你reverify如果雲存儲接收任何文件或不呢?
請參考:https://docs.m.eheci.com/ingestion/auto-loader/index.html
請讓我們知道這有幫助。
也請標記@Debayan你的下一個反應,將通知我,謝謝!
