磚

你嚐試用一個新的磚集群使用初始化腳本?https://docs.m.eheci.com/user-guide/clusters/init-scripts.html

你不需要任何包。你可以掛載S3 bucket磚集群。https://docs.m.eheci.com/spark/latest/data-sources/aws/amazon-s3.html mount-aws-s3或http://www.sparktutorials.net/Reading +和+寫作+ S3 +數據+ + Apache +火花……

嗨,你試著寫信給你掛載點的位置嗎?dfGPS.write.mode(“覆蓋”).format (com.databricks.spark.csv) .option(“標題”、“true”) . csv (“/ mnt / < mount-name >”)有一個相關的帖子來配置適當的Hadoop屬性……

這是我推薦StackOverflow雖然還沒有與ADLS測試。sc._jsc.hadoopConfiguration()這裏(“mapreduce.fileoutputcommitter。marksuccessfuljobs”、“假”)注意它可能影響整個集群。你也可以使用dbutils.fs。rm一步t…