取消
顯示的結果
而不是尋找
你的意思是:

有什麼優勢磚緩存和火花的緩存嗎?

Ryan_Chynoweth
尊敬的貢獻者三世
2回答2

User16869510359
尊敬的貢獻者

在磚三角洲緩存是一個邊緣的特性可用。這意味著它不是在OSS火花。火花緩存也可以在數據磚。

在高級別上,三角洲緩存是將數據存儲在磁盤執行人的重複訪問的數據。火花緩存是將數據存儲在內存或磁盤或重複訪問。緩存機製是不同的方式驅逐和刷新完成。

這裏提供一個比較:

https://docs.m.eheci.com/delta/optimizations/delta-cache.html delta-and-apache-spark-caching

User16783853906
因素二世

三角洲緩存加速數據讀取通過創建遠程文件的副本節點的本地存儲中間數據格式使用快。數據緩存自動當一個文件從遠程獲取。連續讀取相同的數據然後在本地執行,從而顯著提高閱讀速度。

這裏是每個類型的特征:

  • 存儲數據的類型:三角洲緩存包含遠程數據的本地副本。它可以提高廣泛的查詢的性能,但不能用於存儲任意子查詢的結果。火花緩存可以存儲任何子查詢的結果數據和數據存儲在拚花以外的其他格式(如CSV、JSON和獸人)。
  • 性能:在三角洲緩存中存儲的數據可以讀取和操作速度比火花緩存中的數據。這是因為三角洲緩存使用高效的壓縮算法和最優輸出數據格式使用舞台代碼生成進一步的處理。
  • 自動和手動控製:當δ啟用緩存,數據需要從遠程數據源獲取自動添加到緩存中。這個過程是完全透明,不需要任何行動。然而,事先預加載數據到緩存,您可以使用緩存命令。當你使用火花緩存,您必須手動指定緩存表和查詢。
  • 磁盤與基於內存:δ完全存儲在本地磁盤緩存,這樣記憶是不會離開其他操作在火花。由於現代ssd的閱讀速度高,三角洲緩存可以完全於磁盤上沒有對其性能產生負麵影響。相比之下,火花緩存使用內存。
  • 數據更新:δ在創建或刪除緩存數據文件時自動檢測並相應更新其內容。您可以編寫、修改和刪除表數據不需要顯式地緩存數據失效。
  • 實例支持:三角洲緩存不配置默認情況下所有實例實例的家庭。你必須驗證實例家人是否支持

歡迎來到磚社區:讓學習、網絡和一起慶祝

加入我們的快速增長的數據專業人員和專家的80 k +社區成員,準備發現,幫助和合作而做出有意義的聯係。

點擊在這裏注冊今天,加入!

參與令人興奮的技術討論,加入一個組與你的同事和滿足我們的成員。

Baidu
map