取消
顯示的結果
而不是尋找
你的意思是:

Pyspark vs熊貓

pjp94
貢獻者

想更好地理解編寫python筆記本的優勢在pyspark vs熊貓。整個筆記本需要寫在pyspark實現性能優勢。我目前有一個腳本使用熊貓我所有的轉換——我可以隻是取代“低效”塊pyspark並保持較小的/低成本轉換在熊貓嗎?謝謝!

13日回複13

cconnell
因素二世

重要的是要理解的區別:1)熊貓在一台計算機,這就是大多數人的意思是當他們談論熊貓;2)使用新的熊貓熊貓在火花PySpark 3.2 API。目前尚不清楚@Paras Patel詢問。

PySpark詳細討論熊貓,看到我的文章https://medium.com/@chuck.connell.3 pandas-on-spark-current-issues-and-workarounds-dc9ed30840ce

Hubert_Dudek1
尊敬的貢獻者三世

謝謝你的文章。閱讀現在:slightly_smiling_face:

pjp94
貢獻者

謝謝澄清所有的你……可以幫助很多。不幸的是,我在一個組織集群所以我不能升級或有權限創建一個新的集群所以將考拉pyspark.pandas作為替代。

cconnell
因素二世

你可以免費使用Community Edition 10.0磚,包括運行時。

歡迎來到磚社區:讓學習、網絡和一起慶祝

加入我們的快速增長的數據專業人員和專家的80 k +社區成員,準備發現,幫助和合作而做出有意義的聯係。

點擊在這裏注冊今天,加入!

參與令人興奮的技術討論,加入一個組與你的同事和滿足我們的成員。

Baidu
map