取消
顯示的結果
而不是尋找
你的意思是:

光子和UDF效率

Dekova
新的貢獻者二世

當使用JVM引擎,Scala udf勝過Python udf因為數據不需要轉移到Python環境中進行處理。如果我理解的含義使用光子c++引擎,任何處理,需要在JVM (Scala udf)或在Python環境中(Python和熊貓udf)需要數據序列化和/或轉移進行處理。

我的理解正確嗎?做Scala udf失去性能優勢當使用光子c++引擎?

1接受解決方案

接受的解決方案

werners1
尊敬的貢獻者三世
1回複1

werners1
尊敬的貢獻者三世

光子不支持udf:
https://learn.microsoft.com/en-us/azure/databricks/runtime/photon的局限性

當創建一個UDF,光子將不會被使用。

歡迎來到磚社區:讓學習、網絡和一起慶祝

加入我們的快速增長的數據專業人員和專家的80 k +社區成員,準備發現,幫助和合作而做出有意義的聯係。

點擊在這裏注冊今天,加入!

參與令人興奮的技術討論,加入一個組與你的同事和滿足我們的成員。

Baidu
map