你好,
希望每個人都做得很好。
我們正在驗證數據磚GCP和Azure。
我們有一個python筆記本,做一些ETL(複製、提取zip文件和流程文件中的zip文件)
我們的集群配置在Azure上
DBX運行時,10.4-驅動程序標準DS4_v2工人——標準D8_v3(4工人)。(40核心156 gb)
我們嚐試類似的配置豐富
DBX運行時,11.3-司機n2-highmem-4工人——n2-standard-8(4工人)。(36芯160 gb)
對於相同的筆記本小路徑的變化,運行時似乎非常高的GCP相比Azure - 1 h增加到3 h
自從筆記本沒有改變太多,也許大功能分割成較小的和路徑的變化,我想知道它可能是由於運行時變化和機器類型。
謝謝你的所有幫助。
歡呼聲……