取消
顯示的結果
而不是尋找
你的意思是:

磚在Azure和GCP之間等價的機器類型

ranged_coop
重視貢獻二世

你好,

希望每個人都做得很好。

我們正在驗證數據磚GCP和Azure。

我們有一個python筆記本,做一些ETL(複製、提取zip文件和流程文件中的zip文件)

我們的集群配置在Azure上

DBX運行時,10.4-驅動程序標準DS4_v2工人——標準D8_v3(4工人)。(40核心156 gb)

我們嚐試類似的配置豐富

DBX運行時,11.3-司機n2-highmem-4工人——n2-standard-8(4工人)。(36芯160 gb)

對於相同的筆記本小路徑的變化,運行時似乎非常高的GCP相比Azure - 1 h增加到3 h

自從筆記本沒有改變太多,也許大功能分割成較小的和路徑的變化,我想知道它可能是由於運行時變化和機器類型。

  1. 有沒有記錄慢跌在DBX運行時11.3比10.4嗎?
  2. 之間有表映射等價的機器類型Azure和GCP嗎?穀歌搜索顯示類似的分組即計算優化在GCP Azure vs計算優化,但沒有一對一的映射。
  3. 並把一個函數分解為多個函數在運行時引起如此巨大的差異?

謝謝你的所有幫助。

歡呼聲……

2回答2

tunstila
因素二世

嗨,@range_coop,

你可以參考下麵的鏈接:

https://docs.m.eheci.com/release-notes/runtime/releases.html

ranged_coop
重視貢獻二世

嗨@Tunde亞筆月,我已經通過了鏈接而更新,但沒有看到任何提及的主要記錄係統運行遲緩。

歡迎來到磚社區:讓學習、網絡和一起慶祝

加入我們的快速增長的數據專業人員和專家的80 k +社區成員,準備發現,幫助和合作而做出有意義的聯係。

點擊在這裏注冊今天,加入!

參與令人興奮的技術討論,加入一個組與你的同事和滿足我們的成員。

Baidu
map