如何構建一個使用Fivetran營銷分析解決方案和印度生物技術部在磚Lakehouse嗎

分享這篇文章

營銷團隊使用許多不同平台驅動營銷和銷售活動,它可以產生大量的有價值的但Beplay体育安卓版本斷開連接的數據。一起把所有的數據可以幫助驅動一個大的投資回報,如圖所示陽獅集團(Publicis Groupe那些能夠增加活動收入高達50%。

磚Lakehouse,結合數據倉庫和AI用例在一個平台,是理想的地方建立一個營銷分析解決方案:我們維護真理的單一來源,解鎖AI /毫升用例。Beplay体育安卓版本我們還利用兩個磚合作夥伴解決方案,Fivetran和印度生物技術部,解鎖一個廣泛的市場營銷分析用例包括生產和生命周期價值分析,客戶細分,廣告效果。

Fivetran允許您輕鬆攝取數據從50 +營銷平台為三角洲湖不需要建立和維護複雜的管道。Beplay体育安卓版本如果任何營銷平台的api改變或破壞,FivetrBeplay体育安卓版本an會照顧的更新和修複集成你的營銷數據不斷流入。

印度生物技術部是一個流行的開源框架,它允許lakehouse用戶使用簡單的SQL構建的數據管道。一切都組織在目錄,作為純文本,進行版本控製,部署和可測試性簡單。數據攝取到三角洲湖後,我們使用印度生物技術部變換,測試和文檔數據。轉換後的營銷分析數據集市之上的攝入數據然後準備用來幫助推動新的營銷活動和計劃。

Fivetran和印度生物技術部都是磚的一部分合作夥伴聯係,一站式門戶發現和安全地連接數據,分析和人工智能工具直接在磚平台。Beplay体育安卓版本隻需單擊幾下鼠標就可以配置和連接這些工具(以及更多)直接從磚工作區。

如何構建營銷分析的解決方案

在這動手演示,我們將展示如何攝取Marketo並使用Fivetran Salesforce數據轉換成磚,然後使用印度生物技術部變換,測試和文檔你的營銷分析數據模型。

所有的代碼演示在Github是可用的workflows-examples庫。

印度生物技術部譜係圖顯示數據來源和模型”src= — 印度生物技術部譜係圖顯示數據來源和模型

最後印度生物技術部模型譜係圖是這樣的。Fivetran源表在綠色左邊和最終的營銷分析模型是正確的。通過選擇一個模型,你可以看到相應的依賴關係與不同模型強調了紫色。

數據攝取使用Fivetran

Fivetran有許多營銷分析數據源連接器”src= — Fivetran有許多營銷分析數據源連接器

創建新的Salesforce和其連接Fivetran開始攝取營銷數據到三角洲湖。當創建Fivetran也將自動的連接創建和管理模式對於每個數據源在三角洲湖。我們將稍後使用印度生物技術部變換,清潔和聚合數據。

定義一個目的地模式在三角洲湖Salesforce數據來源”src= — 定義一個目的地模式在三角洲湖Salesforce數據來源

演示的名稱的模式將被創建在三角洲湖marketing_salesforce marketing_marketo。如果模式不存在Fivetran將創建它們的初始攝入負載。

選擇要同步的數據源對象作為三角洲湖表”src= — 選擇要同步的數據源對象作為三角洲湖表

然後,您可以選擇哪些對象同步三角洲湖,其中每個對象將被保存作為單獨的表。Fivetran也使它簡單的管理和視圖列正在同步為每個表:

Fivetran監視儀表板監控每月活躍行同步”src= — Fivetran監視儀表板監控每月活躍行同步

此外,Fivetran提供了監視儀表板分析多少每月活躍行數據同步每日和每月為每個表,以及其他有用的統計數據及日誌。

數據建模使用印度生物技術部

現在,所有的營銷數據在三角洲湖,您可以使用印度生物技術部通過以下步驟來創建數據模型

設置本地印度生物技術部項目和連接到SQL數據磚

設置本地印度生物技術部開發環境後,在你選擇的IDE印度生物技術部核心和dbt-databricks設置指令。

支架一個新的印度生物技術部項目和連接磚SQL的倉庫使用印度生物技術部init,會詢問以下信息。

印度生物技術部init美元輸入一個名稱為您的項目(字母、數字、下劃線):你會哪個數據庫就像來使用?(1)磚(2]火花輸入一個數字:1主機(yourorg.m.eheci.com):http_path (HTTP路徑):令牌(dapiXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXX):模式(默認的印度生物技術部將建立對象的模式在):線程(1或(更多)1]:

一旦配置概要文件可以使用:測試連接

印度生物技術部美元調試

安裝Fivetran印度生物技術部為分段模型包

使用Marketo和Salesforce數據的第一步是創建表作為我們的模型的來源。幸運的是,Fivetran使得這個與他們的預構建容易啟動和運行Fivetran印度生物技術部模型包。這個演示,讓我們使用marketo_source和salesforce_source包。

隻是增加一個安裝包packages.yml印度生物技術部項目文件的根和添加marketo-source,salesforce-source和fivetran-utils包:

包:- - - - - -包:dbt-labs / spark_utils版本:0.3比上年- - - - - -包:fivetran / marketo_source版本:[“> = 0.7.0”,“= 0.4.0”,”下載和使用的包

印度生物技術部deps美元

您現在應該看到Fivetran包安裝包文件夾。

更新dbt_project。yml Fivetran印度生物技術部模型

有幾款dbt_project.yml文件,您需要修改,以確保Fivetran包磚的正常工作。

的dbt_project.yml文件可以在您的印度生物技術部項目的根文件夾。

spark_utils覆蓋dbt_utils宏

Fivetran印度生物技術部模型使用的宏dbt_utils包,但其中一些宏需要修改與磚容易使用spark_utils包中。

它通過提供墊片對某些dbt_utils宏,你可以設置使用調度配置dbt_project。yml文件和這印度生物技術部將首先搜索宏在spark_utils包解決dbt_utils宏的名稱空間。

調度:- macro_namespace: dbt_utilssearch_order:【“spark_utils”,“dbt_utils”]

變量marketo_source和salesforce_source模式

要求您定義的Fivetran包目錄在印度生物技術部(稱為數據庫)模式數據的土地,當被Fivetran攝取。

這些變量添加到dbt_project。yml文件使用正確的目錄和模式名。默認的目錄是hive_metastore這將使用如果_database留空。定義的模式名稱將會在Fivetran創建連接時。

var:marketo_source:marketo_database:#保留為空白則使用默認hive_metastore目錄marketo_schema: marketing_marketosalesforce_source:salesforce_database:#保留為空白則使用默認hive_metastore目錄salesforce_schema: marketing_salesforce

Fivetran分段模型的目標模式

避免所有創建的臨時表Fivetran源模型被創建在缺省目標模式可以是有用的定義一個單獨的分期模式。

dbt_project。yml文件添加分期模式名稱,這將是默認的模式名稱後綴。

模型:marketo_source:+模式:your_staging_name#保留為空白則使用默認target_schemasalesforce_source:+模式:your_staging_name#保留為空白則使用默認target_schema

在此基礎上,如果你的目標模式中定義的配置文件。yml是mkt_analytics,該模式用於marketo_source和salesforce_source表mkt_analytics_your_staging_name。

禁用丟失的表

在這個階段您可以運行Fivetran模型包來測試他們正常工作。

印度生物技術部運行-選擇marketo_source

印度生物技術部運行-選擇salesforce_source

如果任何模型失敗由於缺失的表,因為你沒有選擇同步Fivetran那些表,然後在你的源模式你可以禁用這些模型更新dbt_project.yml文件。

例如,如果電子郵件反彈和電子郵件模板表缺少Marketo源模式你可以禁用這些表的模型通過添加以下模型配置下:

模型:marketo_source:+模式:your_staging_nametmp:stg_marketo__activity_email_bounced_tmp:+啟用:假stg_marketo__email_template_history_tmp:+啟用:假stg_marketo__activity_email_bounced:+啟用:假stg_marketo__email_template_history:+啟用:假

發展中市場營銷分析模型

印度生物技術部譜係圖顯示了星型模式和總表數據模型”src= — 印度生物技術部譜係圖顯示了星型模式和總表數據模型

現在Fivetran包已經照顧的創建和測試分段模型就可以開始為你的營銷開發數據模型分析用例將星型模式數據模型以及物化總表。

第一營銷分析儀表盤,例如,您可能想看到某些公司和銷售區域是如何通過電子郵件活動的數量和點擊打開。

要做到這一點,你可以加入Salesforce和Marketo表使用Salesforce用戶郵件,Salesforce account_id Marketo lead_id。

下的模型將結構化集市文件夾以以下方式。

marketing_analytics_demo|——dbt_project.yml|——packages.yml|——模型|——集市|——核心|——中間|——marketing_analytics

你可以把所有的代碼在Github的模型/模型/集市目錄下麵描述了每個文件夾是什麼還有一個例子。

核心模型

核心模型是事實和維度表將被用於所有下遊模型建立。

印度生物技術部dim_user SQL代碼模型

與salesforce_users作為(選擇account_id,電子郵件從{{裁判(“stg_salesforce__user”)}}在哪裏電子郵件是不零和account_id是不零),marketo_users作為(選擇lead_id,電子郵件從{{裁判(“stg_marketo__lead”)}}),加入作為(選擇lead_id,account_id從salesforce_users左加入marketo_users在salesforce_users.email=marketo_users.email)選擇*從加入

你也可以添加文檔和測試模型使用yaml文件的文件夾。

有兩個簡單的測試core.yml添加了文件

版本:2模型:——名稱:dim_account描述:“帳戶維度表”列:——名稱:account_id描述:“主鍵”測試:——not_null——名稱:dim_user描述:“用戶維度表”列:——名稱:lead_id描述:“主鍵”測試:——not_null

中間模型

最後的一些下遊模型可能依賴於相同的計算指標,以避免重複SQL可以創建中間模型,可以重用。

印度生物技術部的SQL代碼int_email_open_clicks_joined模型:

與打開作為(select *從{{ref (“fct_email_opens”)}}),點擊作為(select *從{{ref (“fct_email_clicks”)}}),opens_clicks_joined作為(
              選擇o.lead_id作為lead_id,o.campaign_id作為campaign_id,o.email_send_id作為email_send_id,o.activity_timestamp作為open_ts,c.activity_timestamp作為click_ts從打開作為o左連接點擊作為c在o。電子郵件_send_id = c.email_send_id和o。lead_id = c.lead_id
              )select *從opens_clicks_joined

營銷分析模型

這些最後的營銷分析模型將被用於電力使用的儀表板和報告市場和銷售團隊。

印度生物技術部的SQL代碼country_email_engagement模型:

與賬戶作為(選擇account_id,billing_country從{{裁判(“dim_account”)}}),用戶作為(選擇lead_id,account_id從{{裁判(“dim_user”)}}),opens_clicks_joined作為(選擇*從{{裁判(“int_email_open_clicks_joined”)}}),加入作為(選擇*從用戶作為u左加入賬戶作為一個在u.account_id=a.account_id左加入opens_clicks_joined作為oc在u.lead_id=oc.lead_id
              )選擇billing_country作為的國家,數(open_ts)作為打開時,數(click_ts)作為點擊,數(click_ts)/數(open_ts)作為click_ratio從加入集團通過國家