嗨,我想讀流直接從AWS S3。我設置實例配置文件,但是當我運行下麵的工作流失敗與錯誤
“沒有AWS TemporaryAWSCredentialsProvider提供的憑證:shaded.databricks.org.apache.hadoop.fs.s3a.CredentialInitializationException:訪問密鑰,密鑰或會話令牌設置:“
我下麵添加到集群中
fs.s3a.aws.credentials。提供者org.apache.hadoop.fs.s3a.TemporaryAWSCredentialsProvider
fs.s3a.access。關鍵< AccessKeyId >
fs.s3a.secret。關鍵< SecretAccessKey >
它仍然失敗了,同樣的錯誤。有人能幫助我如何通過這些DLT工作流
嗨,維維安,
謝謝你的幫助。我很高興通知,現在的工作。我認為問題是分配適當的角色和訪問實例配置文件(AWS),我為此目的而創建的。一旦我添加一些更多的規則,它開始工作。
再次感謝你所有的幫助。
親愛的薇薇安,
加州大學在這個工作區不啟用。我用實例配置文件設置為每磚文檔。
S3是交叉設置賬戶,就像我說的,我能跑dbutils.fs.ls (“s3a: / / zuk-comparis-poc /”)
但當我運行工作流envoksδ筆記本,它給了我這個錯誤。
這是一個標準的集群,所以我並沒有使我透傳。
我丟失的東西。謝謝提前
@SUDHANSHU RAJ請分享管道設置在JSON和JSON也集群政策?如果這適用於一個標準的集群而不是從一個DLT管道,我們需要驗證的DLT管道設置集群。
嗨,維維安,
謝謝你的幫助。我很高興通知,現在的工作。我認為問題是分配適當的角色和訪問實例配置文件(AWS),我為此目的而創建的。一旦我添加一些更多的規則,它開始工作。
再次感謝你所有的幫助。