AWS實例配置文件和DLT管道

[youngchef]

嘿,大家好!

我建立一個DLT管道讀取文件從S3(或試圖)然後寫他們在S3 bucket到不同的目錄。問題是我通常與一個實例訪問S3概要文件附加到一個集群,但DLT並不給我選擇使用一個實例集群它創建概要文件的工作。

解決方案是什麼呢?我不知怎麼的,必須通過AWS鑰匙的DLT筆記本嗎?

[Prabakar]

嗨@Quinn哈蒂如果你需要一個實例配置文件或其他配置訪問你的存儲位置,指定它的默認集群和維護集群。

https://docs.m.eheci.com/data-engineering/delta-live-tables/delta-live-tables-configuration.html…

[Hubert_Dudek1 · Accepted solution]

{“集群”:[{“標簽”:“默認”,“aws_attributes”: {“instance_profile_arn”:“在攻擊:aws:…”} }, { "label": "maintenance", "aws_attributes": { "instance_profile_arn": "arn:aws:..." } } ] }

[jose_gonzalez]

嗨@Quinn哈蒂,

隻是一個友好的後續。做任何反應幫助你解決你的問題嗎?如果是,請其標記為最好。否則,請讓我們知道如果你還需要幫助。