建議數據庫在使用R在磚

[Jeff1]

我新整合sparklyr / R接口數據磚。特別是看來sparklyr和R命令和函數依賴的類型dataframe正在與一個(蜂巢,火花R等)。有推薦的最佳實踐,與R dataframe我應該開始工作時在磚嗎?

傑夫

[Hubert_Dudek1 · Accepted solution]

推薦的是湖三角洲格式數據。下麵是代碼示例https://docs.m.eheci.com/delta/quick-start.html語言r

[Jeff1]

好當我閱讀參考材料我沒有找到如何將一個蜂巢表三角洲格式。我假設我的初始數據是一個蜂巢表我不得不使用資源()讀取數據。我隻是我們一個SQL語句作為三角洲表讀取數據然後把它寫出來?

[Hubert_Dudek1]

你好,如果你的蜂巢表登記在metastore是的您可以使用SQL語法。

比足以使用複製到. .

如果你的表是沒有注冊請在metastore地圖

如果不存在的表創建表(字段)使用data_format位置(path =)

然後你可以使用增量格式和創建另一個表比複製表之間。

[Jeff1]

@Hubert杜德克,好吧——這是有幫助的。當我閱讀磚文檔似乎當我閱讀在我的文件使用sparklyr台databrick它返回一個sparklyr()函數

對象(“tbl_spark”“tbl_sql”“tbl_lazy”“台”)。那麼你以前的回複仍然適用。無論哪種方式基於你oridginal reploy woudl是我benefir sparklyr對象轉換成三角洲表——是的。如果這是真的這是我尋求的文檔或怎麼做。