計費使用日誌模式

本文解釋如何閱讀和分析使用數據從您的磚帳戶。

請注意

如果啟用,您可以使用使用計費係統表使用數據訪問和查詢。注意,係統表模式不同於本文中概述的模式。

CSV文件模式

列	類型	描述	例子
workspaceId	字符串	ID的工作區。	`1234567890123456`
時間戳	datetime	提供使用的小時。	`2019 - 02年- 22 - t09:59:59.999z`
clusterId	字符串	ID的集群(集群)或倉庫(用於SQL倉庫)	集群的例子:`0406 - 020048 brawl507` SQL倉庫的例子:`8 e00f0c8b392983e`
clusterName	字符串	用戶提供的集群的名稱/倉庫。	`共享自動定量`
clusterNodeType	字符串	實例類型的集群/倉庫。	集群的例子:`m4.16xlarge` SQL倉庫的例子:`db.xlarge`
clusterOwnerUserId	字符串	用戶的ID創建集群/倉庫。	`12345678901234`
clusterCustomTags	字符串(“逃json)	與集群相關的自定義標記/倉庫在這個小時。	`“{”“部門”“:”“mktg”“、”“op_phase”“:”“開發”“}”`
sku	字符串	計費SKU。看到計費sku表的值列表。	`STANDARD_ALL_PURPOSE_COMPUTE`
dbus	雙	用戶使用的DBUs數量在這一小時。	`1.2345`
machineHours	雙	機器小時總數由集群中的所有容器/倉庫使用。	`12.345`
clusterOwnerUserName	字符串	用戶名(電子郵件)的用戶創建集群/倉庫。	`user@yourcompany.com`
標簽	字符串(“逃json)	違約和自定義集群/倉庫標簽,默認和自定義實例池標簽與集群相關的(如適用)在這一小時。看到集群的標簽,倉庫標簽,池標簽。這是一種的超集`clusterCustomTags`列。	`“{”“部門”“:”“mktg”“、”“op_phase”“:”“開發”,”“供應商”“:”“磚”," ClusterId ": " 0405 - 020048 brawl507””,”“創造者”“:”“user@yourcompany.com”“}”`

計費sku

AWS_ENHANCED_SECURITY_AND_COMPLIANCE
ENTERPRISE_ALL_PURPOSE_COMPUTE
ENTERPRISE_ALL_PURPOSE_COMPUTE_(光子)
ENTERPRISE_DLT_CORE_COMPUTE
ENTERPRISE_DLT_CORE_COMPUTE_(光子)
ENTERPRISE_DLT_PRO_COMPUTE
ENTERPRISE_DLT_PRO_COMPUTE_(光子)
ENTERPRISE_DLT_ADVANCED_COMPUTE
ENTERPRISE_DLT_ADVANCED_COMPUTE_(光子)
ENTERPRISE_JOBS_COMPUTE
ENTERPRISE_JOBS_COMPUTE_(光子)
ENTERPRISE_JOBS_LIGHT_COMPUTE
ENTERPRISE_SERVERLESS_REAL_TIME_INFERENCE_US_EAST_N_VIRGINIA
ENTERPRISE_SERVERLESS_REAL_TIME_INFERENCE_US_EAST_OHIO
ENTERPRISE_SERVERLESS_REAL_TIME_INFERENCE_US_WEST_OREGON
ENTERPRISE_SERVERLESS_REAL_TIME_INFERENCE_CANADA
ENTERPRISE_SERVERLESS_REAL_TIME_INFERENCE_EUROPE_IRELAND
ENTERPRISE_SERVERLESS_REAL_TIME_INFERENCE_EUROPE_FRANKFURT
ENTERPRISE_SERVERLESS_REAL_TIME_INFERENCE_AP_SINGAPORE
ENTERPRISE_SERVERLESS_REAL_TIME_INFERENCE_AP_SYDNEY
ENTERPRISE_SERVERLESS_REAL_TIME_INFERENCE_LAUNCH_US_EAST_N_VIRGINIA
ENTERPRISE_SERVERLESS_REAL_TIME_INFERENCE_LAUNCH_US_EAST_OHIO
ENTERPRISE_SERVERLESS_REAL_TIME_INFERENCE_LAUNCH_US_WEST_OREGON
ENTERPRISE_SERVERLESS_REAL_TIME_INFERENCE_LAUNCH_CANADA
ENTERPRISE_SERVERLESS_REAL_TIME_INFERENCE_LAUNCH_EUROPE_IRELAND
ENTERPRISE_SERVERLESS_REAL_TIME_INFERENCE_LAUNCH_EUROPE_FRANKFURT
ENTERPRISE_SERVERLESS_REAL_TIME_INFERENCE_LAUNCH_AP_SINGAPORE
ENTERPRISE_SERVERLESS_REAL_TIME_INFERENCE_LAUNCH_AP_SYDNEY
ENTERPRISE_SERVERLESS_SQL_COMPUTE_US_EAST_N_VIRGINIA
ENTERPRISE_SERVERLESS_SQL_COMPUTE_US_WEST_OREGON
ENTERPRISE_SERVERLESS_SQL_COMPUTE_EUROPE_IRELAND
ENTERPRISE_SERVERLESS_SQL_COMPUTE_AP_SYDNEY
ENTERPRISE_SQL_COMPUTE
ENTERPRISE_SQL_PRO_COMPUTE_US_EAST_N_VIRGINIA
ENTERPRISE_SQL_PRO_COMPUTE_US_EAST_OHIO
ENTERPRISE_SQL_PRO_COMPUTE_US_WEST_OREGON
ENTERPRISE_SQL_PRO_COMPUTE_US_WEST_CALIFORNIA
ENTERPRISE_SQL_PRO_COMPUTE_CANADA
ENTERPRISE_SQL_PRO_COMPUTE_SA_BRAZIL
ENTERPRISE_SQL_PRO_COMPUTE_EUROPE_IRELAND
ENTERPRISE_SQL_PRO_COMPUTE_EUROPE_FRANKFURT
ENTERPRISE_SQL_PRO_COMPUTE_EUROPE_LONDON
ENTERPRISE_SQL_PRO_COMPUTE_EUROPE_FRANCE
ENTERPRISE_SQL_PRO_COMPUTE_AP_SYDNEY
ENTERPRISE_SQL_PRO_COMPUTE_AP_MUMBAI
ENTERPRISE_SQL_PRO_COMPUTE_AP_SINGAPORE
ENTERPRISE_SQL_PRO_COMPUTE_AP_TOKYO
ENTERPRISE_SQL_PRO_COMPUTE_AP_SEOUL
PREMIUM_ALL_PURPOSE_COMPUTE
PREMIUM_ALL_PURPOSE_COMPUTE_(光子)
PREMIUM_DLT_CORE_COMPUTE
PREMIUM_DLT_CORE_COMPUTE_(光子)
PREMIUM_DLT_PRO_COMPUTE
PREMIUM_DLT_PRO_COMPUTE_(光子)
PREMIUM_DLT_ADVANCED_COMPUTE
PREMIUM_DLT_ADVANCED_COMPUTE_(光子)
PREMIUM_JOBS_COMPUTE
PREMIUM_JOBS_COMPUTE_(光子)
PREMIUM_JOBS_LIGHT_COMPUTE
PREMIUM_SERVERLESS_REAL_TIME_INFERENCE_US_EAST_N_VIRGINIA
PREMIUM_SERVERLESS_REAL_TIME_INFERENCE_US_EAST_OHIO
PREMIUM_SERVERLESS_REAL_TIME_INFERENCE_US_WEST_OREGON
PREMIUM_SERVERLESS_REAL_TIME_INFERENCE_CANADA
PREMIUM_SERVERLESS_REAL_TIME_INFERENCE_EUROPE_IRELAND
PREMIUM_SERVERLESS_REAL_TIME_INFERENCE_EUROPE_FRANKFURT
PREMIUM_SERVERLESS_REAL_TIME_INFERENCE_AP_SINGAPORE
PREMIUM_SERVERLESS_REAL_TIME_INFERENCE_AP_SYDNEY
PREMIUM_SERVERLESS_REAL_TIME_INFERENCE_LAUNCH_US_EAST_N_VIRGINIA
PREMIUM_SERVERLESS_REAL_TIME_INFERENCE_LAUNCH_US_EAST_OHIO
PREMIUM_SERVERLESS_REAL_TIME_INFERENCE_LAUNCH_US_WEST_OREGON
PREMIUM_SERVERLESS_REAL_TIME_INFERENCE_LAUNCH_CANADA
PREMIUM_SERVERLESS_REAL_TIME_INFERENCE_LAUNCH_EUROPE_IRELAND
PREMIUM_SERVERLESS_REAL_TIME_INFERENCE_LAUNCH_EUROPE_FRANKFURT
PREMIUM_SERVERLESS_REAL_TIME_INFERENCE_LAUNCH_AP_SINGAPORE
PREMIUM_SERVERLESS_REAL_TIME_INFERENCE_LAUNCH_AP_SYDNEY
PREMIUM_SERVERLESS_SQL_COMPUTE_US_EAST_N_VIRGINIA
PREMIUM_SERVERLESS_SQL_COMPUTE_US_WEST_OREGON
PREMIUM_SERVERLESS_SQL_COMPUTE_EUROPE_FRANKFURT
PREMIUM_SERVERLESS_SQL_COMPUTE_EUROPE_IRELAND
PREMIUM_SERVERLESS_SQL_COMPUTE_AP_SYDNEY
PREMIUM_SQL_COMPUTE
PREMIUM_SQL_PRO_COMPUTE_US_EAST_N_VIRGINIA
PREMIUM_SQL_PRO_COMPUTE_US_EAST_OHIO
PREMIUM_SQL_PRO_COMPUTE_US_WEST_OREGON
PREMIUM_SQL_PRO_COMPUTE_US_WEST_CALIFORNIA
PREMIUM_SQL_PRO_COMPUTE_CANADA
PREMIUM_SQL_PRO_COMPUTE_SA_BRAZIL
PREMIUM_SQL_PRO_COMPUTE_EUROPE_IRELAND
PREMIUM_SQL_PRO_COMPUTE_EUROPE_FRANKFURT
PREMIUM_SQL_PRO_COMPUTE_EUROPE_LONDON
PREMIUM_SQL_PRO_COMPUTE_EUROPE_FRANCE
PREMIUM_SQL_PRO_COMPUTE_AP_SYDNEY
PREMIUM_SQL_PRO_COMPUTE_AP_MUMBAI
PREMIUM_SQL_PRO_COMPUTE_AP_SINGAPORE
PREMIUM_SQL_PRO_COMPUTE_AP_TOKYO
PREMIUM_SQL_PRO_COMPUTE_AP_SEOUL
STANDARD_ALL_PURPOSE_COMPUTE
STANDARD_ALL_PURPOSE_COMPUTE_(光子)
STANDARD_DLT_CORE_COMPUTE
STANDARD_DLT_CORE_COMPUTE_(光子)
STANDARD_DLT_PRO_COMPUTE
STANDARD_DLT_PRO_COMPUTE_(光子)
STANDARD_DLT_ADVANCED_COMPUTE
STANDARD_DLT_ADVANCED_COMPUTE_(光子)
STANDARD_JOBS_COMPUTE
STANDARD_JOBS_COMPUTE_(光子)
STANDARD_JOBS_LIGHT_COMPUTE

棄用sku

以下sku已經棄用:

棄用SKU的名字	棄用日期	更換sku
`LIGHT_AUTOMATED_NON_OPSECLIGHT_AUTOMATED_OPSEC`	2020年3月	`STANDARD_JOBS_LIGHT_COMPUTEPREMIUM_JOBS_LIGHT_COMPUTEENTERPRISE_JOBS_LIGHT_COMPUTE`
`STANDARD_AUTOMATED_NON_OPSECSTANDARD_AUTOMATED_OPSEC`	2020年3月	`STANDARD_JOBS_COMPUTEPREMIUM_JOBS_COMPUTEENTERPRISE_JOBS_COMPUTE`
`STANDARD_INTERACTIVE_NON_OPSECSTANDARD_INTERACTIVE_OPSEC`	2020年3月	`STANDARD_ALL_PURPOSE_COMPUTEPREMIUM_ALL_PURPOSE_COMPUTEENTERPRISE_ALL_PURPOSE_COMPUTE`
`ENTERPRISE_ALL_PURPOSE_COMPUTE_ (DLT)PREMIUM_ALL_PURPOSE_COMPUTE_ (DLT)STANDARD_ALL_PURPOSE_COMPUTE_ (DLT)`	2022年4月	`ENTERPRISE_DLT_CORE_COMPUTEPREMIUM_DLT_CORE_COMPUTESTANDARD_DLT_CORE_COMPUTE`
`ENTERPRISE_SERVERLESS_SQL_COMPUTEPREMIUM_SERVERLESS_SQL_COMPUTESTANDARD_SERVERLESS_SQL_COMPUTE`	2022年6月	`ENTERPRISE_SERVERLESS_SQL_COMPUTE_US_EAST_N_VIRGINIAENTERPRISE_SERVERLESS_SQL_COMPUTE_US_WEST_OREGONENTERPRISE_SERVERLESS_SQL_COMPUTE_EUROPE_IRELANDENTERPRISE_SERVERLESS_SQL_COMPUTE_AP_SYDNEYPREMIUM_SERVERLESS_SQL_COMPUTE_US_EAST_N_VIRGINIAPREMIUM_SERVERLESS_SQL_COMPUTE_US_WEST_OREGONPREMIUM_SERVERLESS_SQL_COMPUTE_EUROPE_IRELANDPREMIUM_SERVERLESS_SQL_COMPUTE_AP_SYDNEY`

分析使用數據在數據磚

本節描述如何使計費使用CSV文件中的數據可用於磚進行分析。

CSV文件使用的格式是標準商業電子表格應用程序,但需要讀取修改Apache火花。你必須使用選項(“逃脫”,“\”)當您創建的表在磚使用。

DBUs總額之和dbus列。

導入日誌使用Create Table UI

您可以使用加載數據使用UI添加數據將CSV文件導入到磚進行分析。

創建一個火花DataFrame

您還可以使用下麵的代碼來創建使用表從CSV文件路徑:

              df=(火花。讀。選項(“頭”,“真正的”)。選項(“inferSchema”,“真正的”)。選項(“逸出”,”\””)。csv(“/ FileStore /表/ usage_data.csv”))df。createOrReplaceTempView(“使用”)
             

如果文件存儲在S3存儲桶,例如使用日誌時交付,將看起來像下麵的代碼。您可以指定一個文件路徑或一個目錄。如果你通過一個目錄,所有文件都是進口的。下麵的示例指定一個文件。

              df=(火花。讀。選項(“頭”,“真正的”)。選項(“inferSchema”,“真正的”)。選項(“逸出”,”\””)。負載(“s3: / / < bucketname > / < pathprefix > / billable-usage csv / workspaceId = < workspace-id > -usageMonth = <月> . csv”))df。createOrReplaceTempView(“使用”)
             

下麵的例子進口計費使用的目錄文件:

              df=(火花。讀。選項(“頭”,“真正的”)。選項(“inferSchema”,“真正的”)。選項(“逸出”,”\””)。負載(“s3: / / < bucketname > / < pathprefix > / billable-usage / csv /”))df。createOrReplaceTempView(“使用”)
             

創建一個增量表

創建一個增量表DataFrame (df)在前麵的示例中,使用以下代碼:

              (df。寫。格式(“δ”)。模式(“覆蓋”)。saveAsTable(“database_name.table_name”))
             

警告

保存的δ表不自動更新當你添加或更換新的CSV文件。如果你需要最新的數據,重新運行這些命令之前使用差值表。

使用分析儀表盤筆記本

如果你使用計費使用交付,您可以使用以下的筆記本運行使用S3 bucket儀表板通過提供一個路徑分析你的CSV文件並輸入報表參數存儲在一個小部件。

你使用的小部件,進入報表參數上麵出現第一個筆記本電池當你導入筆記本磚工作區。小部件沒有出現在瀏覽器隻視圖的筆記本。這裏有一個小部件的圖片:

使用分析儀表盤筆記本

在新標簽頁打開筆記本