如何resuse熊貓PySpark代碼嗎?

[User16783853906]

我有熊貓單線程代碼都不支持PySpark考拉也不容易重裝。我想這個工作負載分發使用火花不重寫我的熊貓代碼——這是可能的嗎?

[sean_owen]

這正是考拉是!這是一個重新實現大部分的熊貓API之上的火花。你應該能夠按原樣運行你的熊貓代碼,或進行小修改,使用考拉,讓它散發火花。https://docs.m.eheci.com/languages/koalas.html

[User16826994223]

它變得如此簡單一旦考拉了,代替進口進口熊貓pd你隻需要一樣

進口磚。考拉是pd

我作為pd故意讓你不需要改變其他代碼,運行代碼,可能會有一些問題可以回答你可以麵對考拉文檔,所以它容易

[User16783853906 · Accepted solution]

這是為一個特定的場景,考拉的代碼是不支持。考慮的一個方法是使用一個熊貓UDF,和分手讓你處理工作向前推進。這個筆記本是一個很好的例子的單節點處理和並行使用熊貓UDF,雖然它可能不是一個完美的適合你的挑戰https://pages.m.eheci.com/rs/094-YMS-629/images/Fine-Grained-Time-Series-Forecasting.html