好處,使用矢量化熊貓udf代替標準Pyspark udf嗎?

[pvm26042000]

好處,使用矢量化熊貓udf代替標準Pyspark udf嗎?

[Aviral-Bhardwaj]

請通過這個-https://docs.m.eheci.com/udf/index.html

[pvm26042000]

我已經讀過,但是我沒有顯示的好處使用矢量化熊貓udf代替標準Pyspark udf。

請幫我解釋! ! !非常感謝。

[ramravi]

pandas_udf優化和更快的分組操作,如應用pandas_udf groupBy之後。分組允許熊貓執行矢量化操作,將速度比正常的udf。a * b等正常情況下,一個正常的火花udf就足夠了,速度更快。

https://bryancutler.github.io/vectorizedUDFs/