和
情況?
我現在試圖想出如何部署的方式與起程拓殖磚多區,多租戶環境。我不談論這樣的簡單的情況下(https://docs.m.eheci.com/data-governance/unity-catalog/automate.html)。
理想情況下,我想至少用單獨的DEV加州大學和加州大學,與多個工作區。
我已經創建了一些模塊可重用的資源:
metastore(加州大學)
s3
vpc
工作空間
和我計劃部署:
datalake / dev_1
datalake / dev_2
datalake / prod_1
datalake / prod_2
datalake /全球
dev_ *和prod_ *——不同的工作區
全球- metastore
這個想法是創建第一個統一目錄(metastore),那麼在每個datalake / env_ *工作區附加工作區統一目錄,但是看起來我們可以創建統一目錄沒有工作區,但是沒有辦法分配metastore_data_access統一目錄沒有工作區。
- - -
鏈接的例子使用(https://registry.terraform.io/providers/databricks/databricks/latest/docs/resources/metastore_data_access #範例用法)
它似乎應該工作。
# #創建UC metastore資源“databricks_metastore”這種“{提供者=磚。工作區name = " $ {local.prefix} - {var.workspace} -metastore美元$ {var.region} - $ {var。env} " storage_root = " s3: / / $ {var。aws_s3_bucket} / metastore“所有者= var.owner force_destroy = true}資源”databricks_metastore_data_access”“這”{提供者=磚。工作區metastore_id = databricks_metastore.this。id名稱= aws_iam_role.metastore_data_access.name aws_iam_role {role_arn = aws_iam_role.metastore_data_access。在攻擊}is_default = true}在統一目錄部署博客(https://docs.m.eheci.com/data-governance/unity-catalog/automate.html # configure-a-metastore)你可以看到任務的ws metastore(反之亦然)。
資源”databricks_metastore_assignment”“default_metastore”{depends_on = [databricks_metastore_data_access。metastore_data_access] workspace_id = var.default_metastore_workspace_id metastore_id = databricks_metastore.metastore。id default_catalog_name = var.default_metastore_default_catalog_name}這樣做實際上是第一,所以我猜的步驟應該改變為更好的可見性:
變量“metastore_name”{}變量“metastore_label”{}變量“default_metastore_workspace_id”{}變量“default_metastore_default_catalog_name”{}資源“databricks_metastore”“metastore”{name = var.metastore_name storage_root = " s3: / / $ {aws_s3_bucket.metastore.id} / $ {var。metastore_label}”force_destroy = true}資源”databricks_metastore_assignment default_metastore”{depends_on = [databricks_metastore_data_access。metastore_data_access] workspace_id = var.default_metastore_workspace_id metastore_id = databricks_metastore.metastore。id default_catalog_name = var.default_metastore_default_catalog_name}資源”databricks_metastore_data_access”“metastore_data_access”{(databricks_metastore depends_on =。metastore] metastore_id = databricks_metastore.metastore。id名稱= aws_iam_role.metastore_data_access.name aws_iam_role {role_arn = aws_iam_role.metastore_data_access。在攻擊}is_default = true}讓我們回到這個問題。你如何計劃你起程拓殖和加州大學部署嗎?這將是偉大的了解其他人如何處理這個。
我有兩件事在我的腦海裏,
- 管理員工作區部署加州大學,但我想我需要一個加州大學(這是不工作)
- 首先用統一部署工作區目錄,然後添加其他工作區。我需要創建默認工作區例如:
- dev_datalake ws統一目錄然後其他工作區dev_analytics dev_sandbox等要部署的方式不同。
這意味著我的“全球”的想法是行不通的。
期待看到一些想法。
是的,我得到了這個會有所幫助。
我的問題是,理想情況下我想避免分配metastore databricks_metastore_data_access之前工作區
我最初的計劃是把單位目錄部署到單獨的文件夾在起程拓殖的結構和每個工作區:
dev /
dev /加州大學
dev / ws_1
dev / ws_2
但是我想我需要重新考慮這個問題。步驟的順序有點把我都弄糊塗了
