感謝每個人加入了一站式服務的數據攝入研討會。你可以按需訪問記錄在這裏。
我們分享的一個子集的提問和回答。你會發現攝入問答先列出,然後是一些三角洲問答。請後續提問或添加評論線程。
主題:攝入包括汽車裝載機和複製
問:有沒有開箱即用的工具和即插即用的轉換,可以從攝入管道磚建造的數據?
這就是汽車裝載機和複製提供;用幾行腳本,您可以構建一個先進的攝入管道!
問:什麼是複製和汽車裝載機?為什麼都?
複製到隻是SQL和批處理。自動加載器是Python / Scala和流媒體或批處理。自動加載程序也可以在DLT的SQL。複製是一個簡單的API。您可以使用都寫一個三角洲表,但對於複雜的攝入工作負載,我們建議自動加載程序。閱讀更多關於汽車裝載機和複製到博客,開始使用攝入到三角洲湖。因為自動加載程序運行在一個磚筆記本(或δ生活表),您需要編寫腳本在Python中,Scala或SQL。
問:一旦攝入一個文件,是源文件不再需要任何滾到一個更早的時間點嗎?
這是正確的,但他們是很好的保持如果你需要再處理文件。
問:有沒有計劃工作模式的XML文件嗎?
是的,它可以讀取XML字符串和使用任何XML庫來解析。
問:默認數據類型自動加載程序始終是一個字符串。我們可不可以提示?
是的!了解更多關於自動加載程序模式推理與進化的能力。
問:變化數據可以直接從數據庫中攝取嗎?
您需要使用CDC工具像AWS DMS;讀到這博客有更多的細節。
問:有簡潔的數據源列表連接器嗎?
https://docs.m.eheci.com/data/data-sources/index.html
問:有一個接口Nifi嗎?
這對你說話可能會很有趣,重複數據刪除技術和突變的故事。
問:如何Azure事件中心支持攝入?
流攝取,明白了這個文檔的更多信息。
問:有沒有千篇一律從磚一些常見用例的模板可用嗎?
我們有解決方案加速器您可以遵循!
問:什麼是磚支持蜂巢直到遷移到三角洲湖?
磚支持外部的蜂巢,細節文檔。請聯係你的客戶服務團隊,幫助遷移。
主題:δ
問:哪裏三角洲攝入期間參與?
攝入的數據是在原始格式如JSON或CSV,進入三角洲表。
問:它是更容易刪除和重建你的三角洲和每次更新表嗎?如果你從熊貓DataFrameδ創建表,例如?
你可以很容易地把你的熊貓DataFrame火花DataFrame保存為三角洲和受益於三角洲的ACID事務。
問:我可以回滾或滾一個增量表使用磚筆記本嗎?這種改變會持續為其他磚用戶?
您可以使用恢複回滾,和其他用戶會看到改變。閱讀更多的文檔。
問:我們能從三角洲刪除partition-wise表嗎?
是的,但是你也可以刪除在三角洲逐行進行的。
問:是否可以單獨計算為三角洲和計算火花呢?
有一個獨立的開源閱讀器/寫入器允許你單獨的兩個三角洲。
你的後續問題添加到線程!
