使用Apache火花DataFrames讀三角洲共享共享表

本文提供了語法的例子使用Apache火花查詢數據共享使用三角洲分享。使用deltasharing關鍵字作為一種格式為DataFrame操作選項。

查詢共享數據的其他選項

您還可以創建查詢,使用共享表名在三角洲共享目錄metastore注冊,比如下麵的例子:

選擇*shared_table_name
火花(“shared_table_name”)

更多配置三角洲分享磚使用共享和查詢數據的表名,明白了讀取數據共享使用Databricks-to-Databricks三角洲共享

您可以使用結構化流過程記錄在共享表增量。使用結構化流,您必須啟用共享表的曆史。看到改變分享。曆史需要共享數據磚運行時12.1或以上。

如果共享表有變化的數據提要源三角洲上啟用表和曆史上啟用共享,讀書的時候,你可以用改變數據提要三角洲與結構化流或批處理操作。看到使用三角洲湖變化數據以磚

關鍵字與三角洲分享閱讀格式

deltasharing關鍵字是支持Apache火花DataFrame讀取操作,如以下示例所示:

df=(火花格式(“deltasharing”)負載(“<配置文件路徑> # <共享名>。<模式名稱>。<表名稱>”))

閱讀改變δ共享共享表的數據提要

表有曆史和改變共享數據提要啟用,您可以閱讀使用Apache火花DataFrames更改數據提要記錄。曆史需要共享數據磚運行時12.1或以上。

df=(火花格式(“deltasharing”)選項(“readChangeFeed”,“真正的”)選項(“startingTimestamp”,“2021-04-21 05:45:46”)選項(“endingTimestamp”,“2021-05-21 12:00:00”)負載(“<配置文件路徑> # <共享名>。<模式名稱>。<表名稱>”))

使用結構化流讀三角洲共享共享表

對於共享曆史表,您可以使用共享表作為結構化流的來源。曆史需要共享數據磚運行時12.1或以上。

streaming_df=(火花readStream格式(“deltasharing”)負載(“<配置文件路徑> # <共享名>。<模式名稱>。<表名稱>”))#如果啟用了CDF實驗組的源表streaming_cdf_df=(火花readStream格式(“deltasharing”)選項(“readChangeFeed”,“真正的”)選項(“startingTimestamp”,“2021-04-21 05:45:46”)負載(“<配置文件路徑> # <共享名>。<模式名稱>。<表名稱>”))