04-06-202203:47點
我建立一個ETL管道讀取數據從卡夫卡的話題(數據序列化在節儉格式),並將它寫到δ表數據磚。我想有兩層
銅層- >原始卡夫卡數據
銀層- >反序列化數據
我能想到的兩種方法可以做到這一點
第一個方法是讀卡夫卡的數據,寫原始數據從青銅青銅然後讀取數據和解碼它和寫銀
第二種方式從卡夫卡讀取數據,寫入數據同時青銅和解碼數據和寫銀。
我試圖理解每種解決方案的優點和缺點。解決方案兩個更容易實現,但感覺解決方案一個是更強大的容錯
04-07-202203:15我
@John君士坦丁“青銅層- >原始卡夫卡數據”
如果你使用confluent.io,您還可以利用直接沉到DataLake存儲——銅層。
“銀層- >反序列化數據”
然後使用生活表處理δ銀。(文件通知模式推薦)
在原帖子查看解決方案
04-08-2022下午01:43
嗨@John康斯坦丁,這隻是密切隨訪。做@Hubert杜德克的回複解決查詢?
從未顯出
加入我們的快速增長的數據專業人員和專家的80 k +社區成員,準備發現,幫助和合作而做出有意義的聯係。
點擊在這裏注冊今天,加入!
參與令人興奮的技術討論,加入一個組與你的同事和滿足我們的成員。
