我有一些基本問題在Spark3運行一個簡單的火花應用在我當地的mac機(總共6芯)。請幫助。
- 當地[*]運行我的火花和所有在場的核心應用程序在本地模式下在我的mac,正確嗎?這也意味著dataframe將盡可能多的分區主可用內核的數量,對嗎?
- 當我運行與當地[*],我得到12作為SparkContext defaultParallelism。當我運行與當地[2]等任何數量,當地[4]等就得到相同數量的defaultParallelism SparkContext。這是為什麼呢?並引發計算defaultParallelism作為核心的總數* 2當它看到主人當地[*]否則它使它等於輸入我給嗎?
- 啟用查詢執行或不適應後,我看到的分區數量dataframe 12當主人是當地[*]而7當主人是當地[4]。我認為AQE是決定正確的火花的分區數量3。那是不正確的嗎?為什麼要7分區的數量當主人是當地[4]嗎?
- 我能打印版本和火花sc.master即使停止火花或sc。為什麼?不應該我得到一個錯誤的連接已經不再活躍嗎?
下麵是代碼:
從pyspark。sql進口SparkSession
火花= SparkSession.builder.master .appName(“地方[*]”)(“測試”).getOrCreate ()
打印(“火花版本:“spark.version)
sc = spark.sparkContext
打印(“大師:“sc.master)
打印(默認並行性:,sc.defaultParallelism)
print (AQE:啟用,spark.conf.get (spark.sql.adaptive.enabled))
spark.conf.set (“spark.sql.adaptive.enabled”,“真正的”)
print (AQE:啟用,spark.conf.get (spark.sql.adaptive.enabled))
df = spark.read.load(“/用戶/用戶/ xyz.csv”,
格式= " csv”, 9 =”、“inferSchema = " true ",頭= " true ")
print (dataframe:沒有分區,df.rdd.getNumPartitions ())
打印(sc.uiWebUrl)
spark.stop ()
打印(“火花版本:“spark.version)
打印(“大師:“sc.master)
