δ分享如何工作?
三角洲安全地共享是一個簡單的REST協議,股票進入雲數據集的一部分。它利用現代雲存儲係統,如S3, ADLS或GCS,可靠地傳輸大型數據集。有兩個當事人:數據提供者和接受者。
作為數據提供者,三角洲分享讓你分享現有表或部分(例如,特定表的分區版本)的數據存儲在雲湖三角洲湖格式。三角洲湖表實質上是拚花文件的集合,並且很容易包裝如果需要現有的鑲花表到三角洲湖。數據提供商決定他們想要什麼數據分享和共享服務器運行在它前麵,它實現了三角洲為接受者共享協議和管理訪問。我們開源參考共享服務器;我們提供托管一磚,如我們想象其他供應商。
數據接收者,所有你需要的是一個許多三角洲共享客戶支持協議。我們發布了熊貓開源連接器,Apache火花,鐵鏽和Python,我們與合作夥伴合作更多。
- 接收方的客戶端驗證到共享服務器(通過不記名令牌或其他方法),要求查詢特定的表。客戶端還可以提供過濾的數據(例如“國家=我們”)作為一個提示閱讀數據的一個子集。
- 服務器驗證客戶是否允許訪問數據,日誌請求,然後確定哪些數據發回。這將是一個子集的數據對象在S3中或其他雲存儲係統,實際上構成了表。
- 傳輸數據時,服務器產生短暫的pre-signed url,允許客戶端讀這些拚花文件直接從雲提供商,以便轉移可以發生在平行巨大的帶寬,通過共享服務器沒有流。這個強大的功能可以在所有主要的雲使它快速、廉價和可靠的分享非常大的數據集。
