取消
顯示的結果
而不是尋找
你的意思是:

自動加載程序做什麼完全不同?

hello_world
新的貢獻者三世

新磚,這是一件事混淆我。

因為火花流已經負載增量檢查點的能力。通過啟用自動加載程序又有什麼區別呢?

3回複3

Aviral-Bhardwaj
尊敬的貢獻者三世

它也通知係統,包括增量數據處理

Rishabh264
尊敬的貢獻者二世

當啟用了自動裝卸機,你不需要擔心傳入的文件,當它來或不來,在火花將不停地流媒體文件,但假設你不確定何時會來填充的文件處理的著陸,在這種情況下,如果你自動裝卸機的工作原理

自動裝卸機將自動發送文件時處理文件,如果文件已經到達任何特定的一天,它會自動發送的新文件處理。

Meghala
重視貢獻二世

自動加載器提供了一個結構化流源

cloudFiles

。給定一個輸入在雲端文件存儲目錄路徑,

cloudFiles

源自動流程為到達的新文件,選擇也處理現有的文件目錄。自動加載程序支持Python和SQL三角洲生活表。

您可以使用自動加載程序來處理數十億的文件遷移或回填表。自動加載程序擴展到支持實時攝取數以百萬計的文件每小時。

歡迎來到磚社區:讓學習、網絡和一起慶祝

加入我們的快速增長的數據專業人員和專家的80 k +社區成員,準備發現,幫助和合作而做出有意義的聯係。

點擊在這裏注冊今天,加入!

參與令人興奮的技術討論,加入一個組與你的同事和滿足我們的成員。

Baidu
map