使用Apache火花DataFrames讀三角洲共享共享表
本文提供了語法的例子使用Apache火花查詢數據共享使用三角洲分享。使用deltasharing關鍵字作為一種格式為DataFrame操作選項。
查詢共享數據的其他選項
您還可以創建查詢,使用共享表名在三角洲共享目錄metastore注冊,比如下麵的例子:
選擇*從shared_table_name
火花。讀。表(“shared_table_name”)
更多配置三角洲分享磚使用共享和查詢數據的表名,明白了讀取數據共享使用Databricks-to-Databricks三角洲共享。
您可以使用結構化流過程記錄在共享表增量。使用結構化流,您必須啟用共享表的曆史。看到改變分享。曆史需要共享數據磚運行時12.1或以上。
如果共享表有變化的數據提要源三角洲上啟用表和曆史上啟用共享,讀書的時候,你可以用改變數據提要三角洲與結構化流或批處理操作。看到使用三角洲湖變化數據以磚。
關鍵字與三角洲分享閱讀格式
的deltasharing關鍵字是支持Apache火花DataFrame讀取操作,如以下示例所示:
df=(火花。讀。格式(“deltasharing”)。負載(“<配置文件路徑> # <共享名>。<模式名稱>。<表名稱>”))
閱讀改變δ共享共享表的數據提要
表有曆史和改變共享數據提要啟用,您可以閱讀使用Apache火花DataFrames更改數據提要記錄。曆史需要共享數據磚運行時12.1或以上。
df=(火花。讀。格式(“deltasharing”)。選項(“readChangeFeed”,“真正的”)。選項(“startingTimestamp”,“2021-04-21 05:45:46”)。選項(“endingTimestamp”,“2021-05-21 12:00:00”)。負載(“<配置文件路徑> # <共享名>。<模式名稱>。<表名稱>”))
使用結構化流讀三角洲共享共享表
對於共享曆史表,您可以使用共享表作為結構化流的來源。曆史需要共享數據磚運行時12.1或以上。
streaming_df=(火花。readStream。格式(“deltasharing”)。負載(“<配置文件路徑> # <共享名>。<模式名稱>。<表名稱>”))#如果啟用了CDF實驗組的源表streaming_cdf_df=(火花。readStream。格式(“deltasharing”)。選項(“readChangeFeed”,“真正的”)。選項(“startingTimestamp”,“2021-04-21 05:45:46”)。負載(“<配置文件路徑> # <共享名>。<模式名稱>。<表名稱>”))