問題

當您從本地文件係統複製一個大文件到S3上的DBFS時，可能會發生以下異常:

Amazon.S3。亞馬遜S3Exception: Part number must be an integer between 1 and 10000, inclusive

導致

這是S3對段數的限製。零件文件編號範圍為1 ~ 10000(含10000)。

解決方案

為了防止這種異常的發生，增加每個部件文件的大小。

1. 在集群的火花配置：

   spark.hadoop.fs.s3a.multipart。大小104857600

2. 重新啟動集群。