@Janga Reddy:
使三角洲生活表(DLT)管道在統一目錄表(加州大學),你可以按照這些一般的步驟:
- 創建一個新的集群或者使用一個已經存在的磚。
- 使用統一編目API連接到加州大學。您可以使用spark.conf.set()方法來設置UC配置參數。例如:
spark.conf.set (“spark.databricks.delta.preview.enabled”,“真正的”)spark.conf.set spark.conf.set (“spark.databricks.delta.properties.defaults.catalog.spark_catalog”、“com.databricks.spark.catalog.UnityCatalog”) (“spark.hadoop.fs.unity。impl”、“com.databricks.backend.daemon.dbutils.UnityFileSystem”) spark.conf.set (“spark.databricks.clusterUsageTags。clusterName”、“< cluster_name >”)
3)創建一個增量表使用火花。閱讀方法UnifiedAnalyticsDataSource數據源和表位置在加州大學。例如:
df = spark.read.format (“com.databricks.spark.sqldw”)。選項(“url”,“< jdbc_url >”)。選項(“查詢”、“<查詢>”).load () df.write.format(“δ”)。選項(“路徑”、“團結:/ / <目錄>。<名稱> / < table_name > ") .save ()
注意,您需要更換< cluster_name >、< jdbc_url >、<查詢>、<目錄>、<名稱>
< table_name >與加州大學和磚環境適當的值。
同樣需要注意的是,統一目錄是一個專有的磚的特性,並在開放源碼Apache火花。如果你不使用磚統一的分析平台,您可能無法使用統一目錄。Beplay体育安卓版本
