我如何使用非火花相關庫喜歡寬大的磚和火花嗎

[User16752239203]

我有一個NLP我在本地機器上構建的應用程序使用寬大的和熊貓,但現在我想我的應用程序很大生產規模數據集和利用火花分布式計算的好處。我如何進口和利用圖書館像寬大的磚/火花嗎?

[sean_owen]

這取決於你的意思,但是如果你隻是想(說)標記和並行處理數據和寬大的,然後這是微不足道的。寫一個“熊貓UDF”函數,表示你想怎麼用寬大的轉換數據,熊貓DataFrame輸入。那麼你就將之運用到熊貓UDF和引發你的數據;火花會自動將您的數據為大熊貓DataFrames,應用你的函數,並處理結果。