如何應用熊貓功能PySpark DataFrame嗎?

[麥當娜]

你好,

我想申請熊貓功能(並網發電,concat、追加等)在PySpark DataFrame這樣計算多節點集群上完成。

我不想把PySpark DataFrame成熊貓DataFrame以後,我認為,隻用於計算一個節點。

最好的方法是什麼你建議使用熊貓功能PySpark DataFrame而在多節點集群中所有進程?

[Hubert_Dudek1]

最好的是使用熊貓的火花,它實際上是可互換的隻是不同的API引發數據幀

進口pyspark。熊貓作為ps psdf = ps.range(10)自衛隊= psdf.to_spark ()。過濾器(“id > 5”) sdf.show ()

[麥當娜]

謝謝你的回複。

我想申請熊貓函數PySpark DataFrame(像我如何使用熊貓DataFrames上本地筆記本電腦)。但是,我認為上麵的示例使用PySpark函數“過濾器”。