@Aravind一,你安裝和版本的依賴關係是什麼?
安裝pyspark + openjdk
% pip安裝pyspark = = 2.4.8 ! apt-get安裝openjdk-8-jdk-headless qq > / dev / null
構建火花會話
從pyspark。sql進口SparkSession火花= SparkSession。構建器\ .appName(“實踐”)\ .getOrCreate ()
注意:
Scala火花運行在Java 8/11, 2.12/2.13, Python 3.6 +和+ 3.5 R。
Python 3.6支持火花3.2.0棄用。
Java 8 version 8之前u201支持火花3.2.0棄用。
Scala API,引發3.2.1之上使用Scala 2.12。您將需要使用一個兼容的Scala版本(2.12.x)。
@Aravind一,你安裝和版本的依賴關係是什麼?
安裝pyspark + openjdk
% pip安裝pyspark = = 2.4.8 ! apt-get安裝openjdk-8-jdk-headless qq > / dev / null
構建火花會話
從pyspark。sql進口SparkSession火花= SparkSession。構建器\ .appName(“實踐”)\ .getOrCreate ()
注意:
Scala火花運行在Java 8/11, 2.12/2.13, Python 3.6 +和+ 3.5 R。
Python 3.6支持火花3.2.0棄用。
Java 8 version 8之前u201支持火花3.2.0棄用。
Scala API,引發3.2.1之上使用Scala 2.12。您將需要使用一個兼容的Scala版本(2.12.x)。