解決如何使用多個流火花工作連接到一個集群的工作

[Jin_Kim]

你好,

我們有一個場景,我們需要15火花流媒體應用程序部署在集群磚閱讀卡夫卡的單一工作。

我們嚐試以下方法:

1。創建工作與新工作1集群(C1)

2。創建job2指著C1

…

3所示。創建job15指著C1

但是,這裏的問題是如果工作1失敗,終止所有其他14工作。

我們正在考慮的選項之一是有一個* * * * *卡夫卡的話題沒有消息,* * * * *引發流從* * * * *工作閱讀卡夫卡的話題(永遠不會失敗99.99%)創建新工作集群(C1)和其他15工作將指向C1。我們假設集群工作C1永遠不會失敗的99.99%。

我們有其他解決方案是為每個工作創建集群每個工作15(15集群的工作),但它會殺了我們的運營成本,因為它是連續流工作,少一些的話題非常體積。

你能建議如何解決這個問題。

謝謝

金。

[Hubert_Dudek1 · Accepted solution]

@Jin金,

• 當你設定的工作任務,首先把一些* * * * *任務,然後每流分離任務取決於第一個(見下圖邏輯如何看起來像)所以會有隻有一個工作,
• 在每個流的任務,使用spark.streams.awaitAnyTermination()來監控,當未能重啟——自定義邏輯,
• 失敗的通知消息重定向到pagerduty什麼的知道工作是下降,
• 設置最大一個並發工作,經常跑,喜歡每5分鍾,所以它會自動再次運行時失敗。

[Jin_Kim]

@Hubert杜德克,非常感謝回應。

1. 當我們有這樣的設置,如果任務失敗,它不會終止整個工作對嗎?
2. 以來,工作是連續運行的流媒體應用,有可能將新任務添加到工作(運行時)?我們有大約100個卡夫卡主題和每一個流媒體應用聽隻有1的話題。

[Kaniz]

嗨@Jin金,你知道的工作流程與工作嗎?請通過醫生。

磚管理任務的編排、集群管理、監視和錯誤報告所有的工作。你可以立即運行您的工作或定期通過一個易於使用的調度係統。

同時,

任務依賴關係

您可以定義的順序執行的任務的工作使用取決於下拉。你可以設置這個字段中的一個或多個任務的工作。

配置任務依賴關係創建一個有向無環圖(DAG)的任務執行,代表執行順序的一種常見方法作業調度器。例如,考慮以下四個任務組成的工作:

• 任務1根,不依賴於任何其他任務。
• Task 2和Task 3取決於任務1完成。
• 最後,Task 4取決於Task 2和Task 3成功完成。

磚上遊運行任務在運行下遊任務之前,盡可能多的在並行運行。下麵的圖表說明了處理這些任務的順序:

[Kaniz]

嗨@Jin金,隻是一個友好的後續。你還需要幫助,或上述反應幫助你找到解決方案了嗎?請讓我們知道。