你好
背景:
我有一個S3 datalake簽署之前設置了磚。我仍然在我的評估期。
我想讀一個S3 bucket的內容但我得到各種各樣的許可問題。
這是命令在筆記本上:
dbutils.fs.ls (“s3: / / hidden-bucket-name”)
這是由於:
java.nio.file。AccessDeniedException: s3: / / hidden-bucket-name:getFileStatus在s3: / / hidden-bucket-name: com.amazonaws.services.s3.model。AmazonS3Exception:拒絕訪問;請求:https://hidden bucketname.s3.us -西方- 1. amazonaws.com{鍵=[]鍵=(假的),關鍵=[2]=[2],關鍵關鍵= [/]}Hadoop 3.3.4, aws-sdk-java 1.12.390 Linux / 5.15.0-1040-aws OpenJDK_64-Bit_Server_VM / 25.372 -b07 java / 1.8.0_372 scala 2.12.15芬蘭灣的科特林/ 1.6.0供應商/ Azul_Systems _Inc。cfg /重試模式/遺留com.amazonaws.services.s3.model.ListObjectsV2Request;請求ID: VAMK134SSX7FM3VA,擴展請求ID: l / PmddVkv7otkOZnhZgeSc2HU9yiKej9ZsJ96xq3gQ + b5uQKDbw8QknQD8zJETYJM78V6jd5K74 =,雲提供商:AWS,實例ID: i-0feca026b7707fb3b credentials-provider:com.amazonaws.auth。AnonymousAWSCredentials credential-header: no-credential-headersignature-present: false(服務:Amazon S3;狀態碼:403;錯誤代碼:AccessDenied;請求ID: VAMK134SSX7FM3VA;S3請求ID:延長信用證PmddVkv7otkOZnhZgeSc2HU9yiKej9ZsJ96xq3gQ + b5uQKDbw8QknQD8zJETYJM78V6jd5K74 =;代理:null), S3請求ID: l / PmddVkv7otkOZnhZgeSc2HU9yiKej9ZsJ96xq3gQ + b5uQKDbw8QknQD8zJETYJM78V6jd5K74 =: AccessDenied
有很多。我強調的東西吸引了我的眼球
getFileStatus。沒有一個特定的行動我的行為,所以我不知道如何解決這一問題
我跟著很多文章
決議嚐試:
https://kb.m.eheci.com/en_US/security/forbidden-access-to-s3-data
導致
以下是常見的原因:
- 使用AWS鍵除了我的角色。使用全球init腳本設置AWS鍵會導致這種行為。
我有AWS鍵提供對遠程本地火花執行s3 bucket。我無法想象這將影響火花的一個實例中運行一個數據磚筆記本
- 我角色所需的權限訪問S3數據,但火花AWS鍵設置配置。例如,設置spark.hadoop.fs.s3a.secret。關鍵的可以與我衝突的作用。
在上麵看到的,我有這個配置為當地引發執行。但正如我上麵所提到的,不應該有任何影響筆記本電腦中運行的火花
- AWS鍵設置在司機節點從一個交互式環境水平集群通過一個筆記本。
在環境層麵不設置鍵
- DBFS前麵創建掛載點與AWS鑰匙現在試圖訪問使用了我的角色。
不適用。
鬥中包含的文件寫數據磚外,但我跟著這裏的步驟:https://docs.m.eheci.com/en/aws/iam/instance-profile-tutorial.html。作為邊注,沒有“第七步”在上麵的程序中。
不知道如何把我的角色數據集群磚…有一個實例配置文件連接到工作區
- 我有讀權限角色,但你想執行寫操作。也就是說,我的角色沒有足夠的權限你要執行的操作。
不適用
解決方案
以下是建議和最佳實踐來避免這個問題:
完成了。
- 如果你試圖從AWS鑰匙開關配置我的角色,卸載DBFS掛載點為S3 bucket使用AWS創建鍵和重新安裝使用我的角色。
不適用。
- 避免使用AWS鍵集全球init腳本。如果需要始終使用集群級init腳本。
不適用不使用全球init腳本數據磚
我有提供隻購買使用AWS鍵運行時引發locall
關閉
訪問S3文件夾是一個攔截器與磚我組織向前發展。我很欣賞任何決議社區規模
