閱讀bigquery數據使用一個查詢

[naga_databricks]

閱讀使用火花Bigquery數據。閱讀,我使用一個查詢。這個查詢執行materializationDataset並創建一個表。

df = spark.read.format \ (“bigquery”)
.option \(“查詢”,查詢)
.option (“materializationProject”, materializationProject) \
.option (“materializationExpirationTimeInMinutes”, materializationExpirationTimeInMinutes) \
.option (“materializationDataset”, materializationDataset) \
.load ()
df.write.mode(“覆蓋”).format(“δ”).saveAsTable (deltaTableName)

這文檔在磚說,火花。閱讀將會創建一個物化視圖,然而我看到一個表。文檔準確嗎?或者有辦法選擇如果火花可以創建一個表或一個物化視圖?

[Kaniz]

嗨@naga_databricks,磚文檔並不顯式地聲明spark.readBigQuery格式將創建一個物化視圖。

相反,它提到,它可以讀取BigQuery表或BigQuery SQL查詢的結果。當你指定查詢選項,它執行的SQL查詢BigQuery和加載結果DataFrame。

在你的案例中,materializationDataset選項指定BigQuery數據集,用於存儲產生的臨時表查詢的執行。這張桌子是物化BigQuery指定的持續時間materializationExpirationTimeInMinutes選擇。

然而,這並不意味著它會創建一個物化視圖BigQuery意義上。

BigQuery,物化視圖是一個預先計算的結果集的SQL查詢,可用於加快執行SQL查詢,特別是對於複雜的查詢。

因此,回答你的問題,磚文檔似乎是準確的基於給定的信息。

沒有直接的方法來選擇spark.read您可以創建一個表或BigQuery物化視圖。它隻是執行查詢並將結果加載到DataFrame,和臨時表的過程更多的是一個實現細節。

來源,https://docs.m.eheci.com/external-data/bigquery.html