從AWS S3 DLT工作流未能閱讀文件

[sudhanshu1]

嗨,我想讀流直接從AWS S3。我設置實例配置文件,但是當我運行下麵的工作流失敗與錯誤

“沒有AWS TemporaryAWSCredentialsProvider提供的憑證:shaded.databricks.org.apache.hadoop.fs.s3a.CredentialInitializationException:訪問密鑰,密鑰或會話令牌設置:“

我下麵添加到集群中

fs.s3a.aws.credentials。提供者org.apache.hadoop.fs.s3a.TemporaryAWSCredentialsProvider

fs.s3a.access。關鍵< AccessKeyId >

fs.s3a.secret。關鍵< SecretAccessKey >

它仍然失敗了,同樣的錯誤。有人能幫助我如何通過這些DLT工作流

[Vivian_Wilfred]

嗨@SUDHANSHU RAJ UC上啟用該工作區嗎?集群上設置的訪問模式是什麼?

這是來自metastore或直接從S3當你讀嗎?S3 cross-account嗎?

[sudhanshu1]

親愛的薇薇安,

加州大學在這個工作區不啟用。我用實例配置文件設置為每磚文檔。

S3是交叉設置賬戶,就像我說的,我能跑dbutils.fs.ls (“s3a: / / zuk-comparis-poc /”)

但當我運行工作流envoksδ筆記本,它給了我這個錯誤。

這是一個標準的集群,所以我並沒有使我透傳。

我丟失的東西。謝謝提前

[Vivian_Wilfred]

@SUDHANSHU RAJ請分享管道設置在JSON和JSON也集群政策?如果這適用於一個標準的集群而不是從一個DLT管道,我們需要驗證的DLT管道設置集群。

[sudhanshu1 · Accepted solution]

嗨,維維安,

謝謝你的幫助。我很高興通知,現在的工作。我認為問題是分配適當的角色和訪問實例配置文件(AWS),我為此目的而創建的。一旦我添加一些更多的規則,它開始工作。

再次感謝你所有的幫助。