取消
顯示的結果
而不是尋找
你的意思是:

如何使spark-submit在windows上工作嗎?

weldermartins
尊敬的貢獻者

我有Jupyter筆記本安裝在我的機器上正常工作。我測試運行火花應用程序通過運行spark-submit命令並返回信息,文件不存在。你需要做什麼來讓它工作嗎?

下麵是一個文件用一個簡單的示例。

從pyspark。sql從pyspark.sql進口SparkSession。功能導入* if __name__ = =“__main__”:火花= SparkSession.builder.appName (Exemplo) .getOrCreate () arqschema =“INT id,省字符串,地位字符串,字符串的派出所,有賣INT,數據字符串“despachantes = spark.read.csv (“C: \ test-spark \ despachantes。csv”,標題= False,模式= arqschema)弗雷= despachantes.select(“日期”).groupBy(年(“日期”)).count () calculo.write.format(“控製台”).save () spark.stop ()

圖像

1接受解決方案

接受的解決方案

weldermartins
尊敬的貢獻者

我設法解決。它是java和python版本我用火花不相容。

我將創建一個視頻,解釋如何使用火花沒有Jupyter筆記本。

圖像

圖像

image.png

在原帖子查看解決方案

2回答2

Debayan
尊敬的貢獻者三世
尊敬的貢獻者三世

嗨,然而這不是在我的實驗室測試,但請檢查和確認是否這個工作原理:https://stackoverflow.com/questions/37861469/how-to-submit-spark-application-on-cmd

weldermartins
尊敬的貢獻者

我設法解決。它是java和python版本我用火花不相容。

我將創建一個視頻,解釋如何使用火花沒有Jupyter筆記本。

圖像

圖像

image.png

歡迎來到磚社區:讓學習、網絡和一起慶祝

加入我們的快速增長的數據專業人員和專家的80 k +社區成員,準備發現,幫助和合作而做出有意義的聯係。

點擊在這裏注冊今天,加入!

參與令人興奮的技術討論,加入一個組與你的同事和滿足我們的成員。

Baidu
map