我在統一目錄
我想做一個印度生物技術部在本地運行的項目工程
但是磚印度生物技術部的工作流任務似乎忽略了項目。yml設置模式和目錄,以及定義在單個模型的配置塊
這是因為這奇怪的默認印度生物技術部行為默認前綴模式與目標模式?
*我怎麼“名稱”目標/檔案工作產生的“刺激”或“uat”而不是“databricks_cluster”?我現在可以閑逛了覆蓋generate_schema宏,但我確實喜歡使用不同的目標來改變行為esp在外部位置不同的環境(開發/測試/刺激)
* env增值?
*所有印度生物技術部生成資產在哪裏?他們可以嗎?
印度生物技術部文檔——在哪裏?或者我需要做手工(請沒有)
*通用測試?
@Jakub凱西:印度生物技術部的默認行為是有可能導致你經曆的問題。默認情況下,印度生物技術部前綴與目標模式名默認模式,這可能會導致混亂當定義模式和項目的目錄。yml文件或單個模型的配置塊。
選項1:
為了避免這種行為,您可以設置模式參數在您的配置文件。yml文件為空字符串,如下:
my_profile:目標:開發模式:“”
選項2:
你也可以嚐試在您的項目中顯式地設置和數據庫的模式參數。yml文件和個人的配置塊模型來確保它們被正確地應用。例如:
#項目。yml名稱:my_project版本1.0.0 config-version: 2 var:數據庫:my_database模式:my_schema # model_name。sql{{配置(數據庫= var(“數據庫”),模式= var(模式))}}從my_table SELECT *;
如果這些選項不工作,請審查印度生物技術部日誌是否有任何錯誤消息或警告,可以提供更多的信息
嗨@Suteja卡努裏人
我很好與配置概要文件當我有完全控製vm執行它
我的問題與使用磚——印度生物技術部工作https://docs.m.eheci.com/workflows/jobs/how-to-use-dbt-in-workflows.html
我想我找到了我的第一問題,我不能改變databricks_cluster概要文件的名稱,我需要硬編碼和希望磚不改變它
env var -我仍然不確定從哪裏或如何設置與工作流的dbt_CLI集群自動創建工作
獲取資產——工作流作業的輸出顯示了它被創建在一個隨機的位置
15:15:24並發:8線程(目標= databricks_cluster) 15:15:24 15:15:24。15:15:24構建目錄15:15:29目錄寫入/ tmp / tmp -印度生物技術部-運行- 45551 /目標/ catalog.json
@Jakub凱西:
設置環境變量對磚dbt_CLI集群,可以遵循以下步驟:
一旦你為dbt_CLI集群設置環境變量,您可以訪問它們在你印度生物技術部項目使用的操作係統。環境Python模塊。
希望這個有幫助。請讓我們知道。