專家你好,我是新磚。我想知道如何pyspark數據複製到磚SQL的分析?

[BasavarajAngadi]

如果我們使用兩個不同的集群一個pyspark代碼轉換和一個SQL分析。如何使固定表來源於pyspark代碼以供運行在磚SQL查詢分析

[AmanSehgal · Accepted solution]

您可以編寫您的ETL邏輯在筆記本,筆記本運行在集群和數據寫入S3 bucket安裝位置。

接下來,您可以注冊表與蜂巢MetaStore磚SQL訪問相同的表。

看表,數據選項卡並選擇您的模式/數據庫看注冊表。

兩種方法可以做到這一點:

選項1:

df.write.option(“路徑”,< s3-path-of-table >) .saveAsTable(表)

選項2

% python df.write.save (< s3-path-of-table >) % sql使用三角洲位置創建表<表名稱> < s3-path-of-table >

:

[BasavarajAngadi]

@Aman Sehgal基本上你告訴從磚pyspark轉換後的數據寫入ADLS gen2然後用磚頭SQL數據分析做以下你所說的…

1. %的sql
2. 創建表<表名稱>
3. 使用δ
4. 位置< s3-path-of-table >

[AmanSehgal]

對吧. .磚是一個平台來執行轉換。Beplay体育安卓版本理想情況下你應該掛載s3 bucket或ADLS gen 2位置DBFS . .

讀/寫/更新/刪除你的數據和運行SQL分析SQL選項卡,你必須注冊一個表和一個端點開始. .

您還可以通過使用SQL查詢數據通過筆記本電池。唯一的區別是,你需要自旋向上集群而不是一個端點。

[BasavarajAngadi]

@Aman Sehgal你讓我困惑....我們需要旋轉集群使用SQL終點?

和我們不可以使用魔法命令“% Sql”在相同的筆記本寫pyspark數據到Sql終點如表?