嗨,團隊,
我們試圖連接到Amazon S3 bucket磚上運行的AWS和Azure在筆記本使用我通過Scala代碼直接訪問鍵,我們正麵臨著com.amazonaws.services.s3.model。AmazonS3Exception:禁止;與狀態代碼403年。但通過使用相同的證書我們可以從AWS CLI訪問它。
示例代碼,我們跑在筆記本上
進口
org
。
apache
。
火花
。
sql
。
SparkSession
瓦爾
火花
=
SparkSession
.builder
.appName (
“S3訪問”
)
.getOrCreate ()
/ /設置AWS訪問密鑰和秘密密鑰
spark.conf.set (
“spark.hadoop.fs.s3a.access.key”
,
“* * * * * * * * * * *”
)
spark.conf.set (
“spark.hadoop.fs.s3a.secret.key”
,
“* * * * * * * * * * * * * * * * * * * * * *”
)
/ /如果需要設置S3端點URL
spark.conf.set (
“spark.hadoop.fs.s3a.endpoint”
,
“s3.us -東- 2. amazonaws.com”
)
/ /讀取一個文件從S3 bucket DataFrame
瓦爾
df
= spark.read.parquet (
“s3: / / < parquet_file_path >”
)
df.show ()
謝謝,
Obul。
