如何使用Sparklyr加載數據嗎

[JefferyReichman]

磚社區

新磚,R用戶,並試圖找出如何通過Sparklyr表加載一個蜂巢。文件的路徑表/ xxx_mydata / https://databricks.xxx.xx.gov/ mydata_etl(右鍵單擊文件)。我試著

data_tbl < -台(sc,”https://databricks.xxx.xx.gov/表/ xxx_mydata / mydata_etl”),顯然這並不是正確的。

傑夫

[庫瑪]

嗨@JefferyReichman,

當通過Sparklyr試圖讀取一個蜂巢表時,您可以使用spark_read_table ()函數。該函數讀取從集群的默認數據庫表或一個特定的數據庫。

這裏有一個例子如何閱讀一個蜂巢Sparklyr使用特定的數據庫表:

% r #加載Sparklyr庫庫(Sparklyr) #連接到集群使用一個服務主體sc < - spark_connect(方法=“磚”,用戶名=“client_id”,密碼=“client_secret tenant_id =“tenant_id端點= " https://westus2.azuredatabricks.net ") #設置數據庫表所在地database_name < -“xxx_mydata”#使用spark_read_table()函數來讀取表data_tbl < - spark_read_table (sc, in_database (database_name mydata_etl "))

[JefferyReichman · Accepted solution]

這些命令集似乎並不工作。然而,隨著一個小挖和閱讀我發現這組命令所做的工作。

% r #加載Sparklyr庫庫(Sparklyr) #連接到集群使用一個服務主體sc < - spark_connect(方法=“磚”)#設置數據庫表所在地tbl_change_db < -“xxx_mydata”#使用spark_read_table()函數來讀取表data_tbl < - spark_read_table (sc,“mydata_etl”)

[JefferyReichman]

感謝,我可以讀讀這開始——傑夫

[庫瑪]

嗨@JefferyReichman,

不確定,我完全理解你的最後一個問題“我在哪裏可以讀讀這入門”。然而,您可以通過運行這段代碼的磚community edition的筆記本。

更多細節:鏈接