由於每個人加入了數據攝入第2部分研討會在半結構化數據。你可以按需訪問記錄在這裏。
我們收到了一些重大問題在整個會話我們分享這個磚的問答社區的一個子集。請後續提問或添加評論線程。
主題:數據攝入與自動加載程序
問:自動加載器隻對JSON文件?
不。自動加載器可以支持許多不同的格式,包括JSON、CSV、拚花,AVRO,文本,BINARYFILE和獸人文件。看到所有文件格式的文檔(AWS][Azure][GCP]
問:可以自動加載程序加載Excel文件?
目前汽車加載程序不直接加載excel文件。我們正在添加其他攝取功能很快就可以上傳Excel文件。聯係我們如果你想知道更多。
問:和磚自動加載器是免費的嗎?
是的,沒有額外成本除了磚使用。
問:自動加載程序需要特定的磚運行時(DBR)的版本嗎?
是的,自動加載程序需要DBR 8.3或以上
問:有優勢來顯式地定義模式在使用自動加載程序?
是的,如果你想要顯式地定義數據應該攝取。你也可以隻定義特定的列(甚至嵌套列)和讓其餘的推斷。
問:自動加載器可以用於計算列實時計讀數的場景嗎?
是的,自動加載程序幫助你讀數據和給你一個dataframe可以實現任何火花等功能窗口聚合數據。
問:是否有一個最佳實踐處理全麵刷新數據了解刪除記錄嗎?
請參考三角洲變化數據提要文檔為應對變化的最佳實踐。
問:什麼樣的事件自動加載程序在Azure支持嗎?
自動加載程序旨在從雲存儲讀取。但也有許多工具獲取消息隊列的數據就像卡夫卡。請參考Azure磚文件;n。
問:做什麼磚的特性幫助屏蔽/加密的數據當我們給用戶不同的訪問(有直接列訪問另一個蒙麵列訪問)?
在我們的博客上閱讀更多磚統一目錄:Lakehouse細粒度數據治理和人工智能。
主題:攝取JSON數據與自動加載程序
問:與嵌套的JSON,三角洲湖算法自動能夠推斷出結構或應該是通過代碼在處理其他雲嗎?
自動加載器可以推斷出的模式嵌套JSON和還可以使用模式提示給某些列定義的數據類型。
問:使用火花支持自動加載程序創建JSON文件?
是的,隻要編寫JSON數據雲存儲。
問:如果我們把所有列嵌套的JSON結構的銀層隻是把選定的列金層,我們如何使用自動加載程序添加一個新列(與曆史負荷數據)?
您可以選擇列和應用任何火花ETL功能之前寫一個表。你可以簡單的添加.option (“mergeSchema”,“真正的”)在你的作家來添加更多的列。
問:生成JSON模式之外的數據磚可以用於磚沒有“推理”?
是的,隻要是有效的JSON。
問:我的JSON文件交付的中間件工具也JSON模式驗證。它使用JSON模式按照http://json-schema.org/符號。有可能使用模式源自API文檔或生成之外的火花/磚嗎?
是的,在這種情況下,您可以簡單地推斷出的模式,因為它會很均勻或如果您的集群訪問模式可以通過編程的方式使用它,但我想它將簡單的推斷。
你的後續問題添加到線程!你也可以看看數據攝入第1部分的問答這篇文章。
