取消
顯示的結果
而不是尋找
你的意思是:

無法讀取通過AssumedRoleCredentialProvider S3對象

Sweetnesh
新的因素

SparkSession火花= SparkSession.builder ()

.appName (“SparkS3Example”)

部分(“地方[1]”)

.getOrCreate ();

這裏.hadoopConfiguration spark.sparkContext () () (“fs.s3a.access。鍵”,S3_ACCOUNT_KEY);

這裏.hadoopConfiguration spark.sparkContext () () (“fs.s3a.secret。鍵”,S3_SECRET_KEY);

這裏.hadoopConfiguration spark.sparkContext () () (“fs.s3a.aws.credentials。提供者”、“org.apache.hadoop.fs.s3a.auth.AssumedRoleCredentialProvider”);

這裏.hadoopConfiguration spark.sparkContext () () (“fs.s3a.assumed.role.credentials。提供者”、“org.apache.hadoop.fs.s3a.SimpleAWSCredentialsProvider”);

這裏.hadoopConfiguration spark.sparkContext () () (“fs.s3a.assumed.role。在攻擊”、“攻擊:aws:我::000000000000:角色/ <桶>”);

這裏.hadoopConfiguration spark.sparkContext () () (“fs.s3a.assumed.role.sts.endpoint。地區”,awsRegion);

這裏.hadoopConfiguration spark.sparkContext () () (“fs.s3a.assumed.role.session.name”、“測試”);

這裏.hadoopConfiguration spark.sparkContext () () (“fs.s3a.assumed.role.sts。端點”、“sts.ap東南- 2. amazonaws.com”);

這裏.hadoopConfiguration spark.sparkContext () () (“fs.s3a。端點”、“s3.ap東南- 2. amazonaws.com”);

這裏.hadoopConfiguration spark.sparkContext () () (“fs.s3a.endpoint。地區”,awsRegion

能夠得到AccessKeyId SecretAccessKey通過AssumedRoleCredentialProvider SessionToken,但不能從S3對象,扔403 AccessDenied例外。

但如果我用同樣的AccessKeyId, SecretAccessKey和SessionToken AWS CLI然後可以下載使用cp命令通過命令提示符。

將通過AssumedRoleCredentialProvider訪問S3對象。

2回答2

Debayan
尊敬的貢獻者三世
尊敬的貢獻者三世

Vartika
主持人
主持人

嗨@Sweetnesh Dholariya,

@Debayan穆克吉的反應回答你的問題嗎?如果是的,你會很高興它標記為最好,其他成員可以找到解決方案更快嗎?

謝謝!

歡迎來到磚社區:讓學習、網絡和一起慶祝

加入我們的快速增長的數據專業人員和專家的80 k +社區成員,準備發現,幫助和合作而做出有意義的聯係。

點擊在這裏注冊今天,加入!

參與令人興奮的技術討論,加入一個組與你的同事和滿足我們的成員。

Baidu
map