數據加載到磚Lakehouse

你的第一個ETL工作負載運行

如果你還沒有使用自動加載器在磚上,從一個教程開始。看到磚上運行你的第一個ETL工作負載。

自動加載程序

自動加載程序增量地和有效地處理新的數據文件到雲存儲沒有額外的設置。自動加載器提供了一個結構化流源cloudFiles。給定一個輸入在雲端文件存儲目錄路徑,cloudFiles源自動流程為到達的新文件,選擇也處理現有的文件目錄。

自動化與三角洲ETL生活表和自動加載程序

可以簡化部署可伸縮、增量攝入基礎設施自動加載器和δ生活表。注意,δ住表不使用標準的互動執行中發現筆記本電腦,而不是強調基礎設施部署準備生產。

上傳本地數據文件或外部數據源連接

你可以安全地上傳本地數據文件或攝取來自外部數據源的數據創建表。看到加載數據使用UI添加數據。

數據加載到磚使用第三方工具

磚驗證技術合作夥伴集成,使您的數據加載到數據磚。這些集成使low-code、可伸縮數據攝入來自各種來源的磚。看到技術合作夥伴。在一些技術合作夥伴磚的合作夥伴聯係連接第三方工具,它提供了一個用戶界麵,簡化了lakehouse數據。

複製到

複製到允許SQL用戶從雲冪等和增量加載數據對象存儲到三角洲湖表中。它可以用於磚SQL,筆記本,和磚的工作。

何時使用複製成和何時使用自動加載程序

這裏有一些事情要考慮在選擇自動加載程序,複製到:

• 如果你要攝取成千上萬的文件的順序,您可以使用複製成。如果你預計數百萬以上的順序文件隨著時間的推移,使用自動加載程序。自動加載程序需要更少的總操作發現文件相比,複製,可以處理分割成多個批次,即自動加載器是更便宜,更有效地規模。

• 如果您的數據模式經常會進化,自動加載程序提供了更好的基元模式推理和演化。看到配置模式推理和進化自動加載程序為更多的細節。

• 文件可以加載的一個子集上傳有點容易管理和複製。使用自動加載程序,很難再加工的選擇子集文件。不過,您可以使用複製到重新加載文件時自動加載程序流的子集是同時運行。

簡要概述和演示的自動加載程序,以及複製到,看這個YouTube視頻(2分鍾)。

使用Apache火花加載數據從外部來源

你可以連接到不同的數據源使用Apache火花。看到在磚與外部數據連接的選項和示例列表。

審查文件元數據在數據攝入

Apache火花自動捕獲數據在數據加載源文件。磚允許您訪問這個數據的文件元數據列。

上傳電子表格對磚的出口

使用創建或修改表的文件上傳頁麵上傳CSV、TSV或JSON文件。看到創建或修改一個表使用文件上傳。

數據應用遷移到磚

現有的數據應用程序遷移到磚,這樣你就可以處理數據從源係統在一個單一的平台。Beplay体育安卓版本看到數據應用遷移到磚。