>您還可以創建一個使用管理表磚起程拓殖的提供者和databricks_table。
但這些鏈接“databricks_table”和“databricks_view”導致TF提供者文檔似乎不再提供說這些資源?
>頁麵未找到:這個文檔版本的1.14.3頁麵不存在磚提供者。
磚docs過時了嗎?然後還有另一種方法來創建統一編目表或視圖通過特遣部隊嗎?
我的具體問題我有一些配置數據在起程拓殖的文件需要被用來創建一個特定的視圖。TF配置顯然不是可以從磚工作區所以我不能從工作區中創建視圖,因此我想通過TF創建視圖的配置數據是現成的。
我已經通過TF目錄,創建模式和其他的磚。
如果無法創建表和視圖通過TF,是否有其他方式的數據定義在TF文件可以暴露在磚的工作嗎?然後我可以創造我的觀點在工作區中環境(通過Python或SQL)。
@Daniel Bedrenko:
您可以創建通過起程拓殖使用統一目錄表和視圖
databricks_sql_script資源。與這個資源,您可以定義的SQL腳本創建表或視圖和運行它通過起程拓殖。這裏有一個例子,您可以創建一個使用這個資源視圖:
數據庫資源”databricks_sql_script”“example_view”{=“example_db”內容=“創建視圖example_view SELECT *從example_table id > 10;”}
在這個例子中,我們創建一個視圖被稱為example_view example_db數據庫,和視圖從example_table選擇所有行id列大於10。
或者,如果你有數據定義在TF文件需要暴露在磚工作空間,您可以使用databricks_notebook資源創建一個Python或SQL筆記本,包括數據和在工作區中創建視圖。這裏有一個例子,您可以創建一個Python筆記本,創建了一個視圖:
”資源”databricks_notebook“example_notebook“{name = " example_notebook "語言= content_base64 = base64encode (templatefile (“PYTHON example_notebook.py。tpl ", {example_data = var.example_data}))}數據”template_file example_notebook_py”{模板= < < sql從pyspark.sql EOF #魔法%。函數從pyspark.sql進口*。類型導入* example_data = $ {jsonencode (var.example_data)} df =火花。createDataFrame (example_data [StructField (“id”, IntegerType(),真的),StructField(“名字”,StringType(),真的),StructField(“時代”,IntegerType(),真的)])df.createOrReplaceTempView (“example_view”) EOF var = {example_data = var.example_data}}變量“example_data”{類型=任何}
在本例中,我們創建一個Python叫做example_notebook的筆記本,需要在一個名為example_data的變量,它包含的數據需要暴露在工作區。的
content_base64字段包含的base64編碼內容筆記本,從模板文件生成。example_notebook.py。tpl模板文件包含Python代碼,使用的數據創建視圖example_data變量。
我希望這可以幫助,讓我知道如果你有任何進一步的問題!
@Daniel Bedrenko:
是的,你是正確的。磚開發人員阻止起程拓殖創建和管理統一使用API或目錄表和視圖由於缺口和邊界情況與表API。相反,他們建議使用工作表和視圖來創建和管理。
使用工作是一個好的選擇使用起程拓殖創建表和視圖。您可以創建一個腳本,該腳本創建表或視圖,然後使用起程拓殖管理工作。這允許您創建和管理表和視圖從起程拓殖的差距和邊界情況,同時避免表API。
關於通信的數據從起程拓殖到磚,使用Kubernetes秘密是一個很好的選擇。您可以創建一個Kubernetes秘密的配置數據需要使用磚的工作空間,然後通過秘密磚集群作為一個環境變量或安裝體積。
總的來說,使用工作和Kubernetes秘密是好的解決方案統一目錄中創建和管理表和視圖從起程拓殖和溝通數據從起程拓殖到磚。