取消
顯示的結果
而不是尋找
你的意思是:

我怎麼能以某種方式運行的火花。在一個工人嗎?——抽樣foreach spark.context

alexgv12
新的貢獻者三世

我用隨機數字撥號改為並行化一個函數,這個函數我格式記錄我想挽救,我怎樣才能從這個函數記錄存儲dataframe嗎?因為每次我使用.....火花生成一個錯誤引起的:org.apache.spark.api.python。PythonException:“RuntimeError: SparkContext應該隻被創建和訪問司機。

我怎麼能以某種方式運行的火花。在一個工人嗎?

代碼——圖像

2回答2

Ryan_Chynoweth
尊敬的貢獻者三世

你不能。這不是可序列化的,沒有一個工人。我建議你使用DataFrame api。它應該更多的性能和原因有非常有限的抽樣DataFrame應該使用。你的函數看起來可以轉換為一個用戶定義的函數。

匿名
不適用

嗨@alexander grajales vanegas

希望一切都好!隻是想檢查如果你能解決你的問題,你會很高興分享解決方案或答案標記為最佳?其他的請讓我們知道如果你需要更多的幫助。

我們很想聽到你的聲音。

謝謝!

Baidu
map