取消
顯示的結果
而不是尋找
你的意思是:

如何從嵌入式移動引發內部彈簧引導microservices azure磚嗎?

Mett
新的貢獻者二世

你好,

我的問題將會更多的和潛在的實現這些解決方案架構解決方案。

項目:

多個microservices每一個部署在Tomcat和樹的每個Tomcat運行在一個虛擬機中存在的Azure。

每個microservice彈簧啟動應用程序暴露兩個端點,可以被其他microservice或最終客戶端(瀏覽器),其中一些microservice將包含一個嵌入式火花。

文件存儲是一個文件夾在一個虛擬機的硬盤,這個文件夾是安裝在其他兩個服務器。

下文

下麵是一個工作流示例更多clearty:

從他們的瀏覽器,用戶可以點擊一個函數(過濾器/總…)將開始執行一個函數在一個服務(服務),這個函數將執行一個火花SQL查詢在文件位於文件存儲在硬盤(文件夾),並引發將生成一個新文件,將結果返回給客戶端。

* *此服務也可以處理其他請求,不需要使用火花

execJob

目標是用火花在Azure磚代替我們現在使用的嵌入,同時保持服務部署在Tomcat。

因為我要將所有的文件係統文件存儲Azure文件共享。

目標體係結構

我最清楚點如何使用火花從春天引導集群服務而在磚上,知道火花工作將由最終用戶從瀏覽器的他想要的任何時候。我隻需要改變配置在火花connexion磚服務器:

conf.setMaster(“火花:/ / databricks.server.url:港口”);

或者我應該編輯的代碼提交工作(在一個單獨的類重寫引發部分主要方法和提交!)?

對任何建議/ recomandation請,謝謝你的幫助和時間。

如果弄亂的任何信息,我將把它添加隻是讓我知道。

2回答2

werners1
尊敬的貢獻者三世

我主要的問題是你為什麼使用火花首先,但這是另一個討論。

如果你想使用磚,你將不得不推出一個火花工作以這樣或那樣的方式與spark-submit磚集群或通過使用api的工作。

然而,如果你想使用這個microservices,我想你需要一個不間斷數據磚集群,這將成為昂貴的(除非你可以等幾分鍾為一個集群自旋)。

或者看看流場景嗎?

Mett
新的貢獻者二世

謝謝你的回答。

我們使用火花,因為應用程序就像一個定製的ETL、用戶負載文件和他可以申請盡可能多的轉換(為每個轉換在後台有一個microservice如何執行SQL的火花)。項目的初POC證明火花是比簡單的java應用程序。

就我所知,spark-submit自動定量是不可能的,它是相同的Azure磚工作嗎?如果就業可伸縮性是可用的API,開始與最低配置和使用一個服務器,可伸縮性可以是一個正確的解決方案?

我還分析了流媒體場景……

歡迎來到磚社區:讓學習、網絡和一起慶祝

加入我們的快速增長的數據專業人員和專家的80 k +社區成員,準備發現,幫助和合作而做出有意義的聯係。

點擊在這裏注冊今天,加入!

參與令人興奮的技術討論,加入一個組與你的同事和滿足我們的成員。

Baidu
map