自動裝卸機與EventBridge消息流

[fhmessas]

你好,

我有一些流媒體工作運行但我們一直麵臨著一個問題相關的消息。我們有多個提要在同一根rolder即日誌/ {accountId} /監測| CloudTrail | vpcflow yyyy-mm-dd /日誌。因此,SQS允許設置隻有一個實例的文件夾,我們不能使用通配符。

我們試圖設置一個eventbridge從自動裝卸機過濾信息和消費,但是使用這種方法自動裝卸機不是正確消費信息,閱讀時不刪除它們。

有什麼方法可以設置自動裝卸機之間使用eventbridge SQS和流?

謝謝

[匿名 · Accepted solution]

@Fernando重新:

是的,你可以配置自動裝卸機從一個SQS隊列使用EventBridge使用消息。這裏是您可以遵循的步驟:

1. 創建一個EventBridge規則過濾消息從SQS隊列基於一個特定的標準(如提要類型或帳戶ID)。
2. 配置規則觸發一個Lambda函數當消息匹配的標準。
3. 寫Lambda函數從SQS隊列讀取消息,提取相關數據(如S3對象鍵),並調用自動裝卸機API將數據加載到流媒體的工作。
4. 配置Lambda函數來處理後從SQS隊列刪除消息。

這種方法允許您使用EventBridge過濾消息,並將消息路由到不同的Lambda函數基於特定標準,然後使用Autoloader API將數據加載到流媒體的工作。

請記住,您將需要處理期間發生的任何錯誤消息的處理,比如API調用失敗或數據驗證錯誤。另外,你應該監測你的健康流工作,以確保它是正確地處理消息而不是落後。