你好,
我的問題將會更多的和潛在的實現這些解決方案架構解決方案。
項目:
多個microservices每一個部署在Tomcat和樹的每個Tomcat運行在一個虛擬機中存在的Azure。
每個microservice彈簧啟動應用程序暴露兩個端點,可以被其他microservice或最終客戶端(瀏覽器),其中一些microservice將包含一個嵌入式火花。
文件存儲是一個文件夾在一個虛擬機的硬盤,這個文件夾是安裝在其他兩個服務器。
下麵是一個工作流示例更多clearty:
從他們的瀏覽器,用戶可以點擊一個函數(過濾器/總…)將開始執行一個函數在一個服務(服務),這個函數將執行一個火花SQL查詢在文件位於文件存儲在硬盤(文件夾),並引發將生成一個新文件,將結果返回給客戶端。
* *此服務也可以處理其他請求,不需要使用火花
目標是用火花在Azure磚代替我們現在使用的嵌入,同時保持服務部署在Tomcat。
因為我要將所有的文件係統文件存儲Azure文件共享。
我最清楚點是如何使用火花從春天引導集群服務而在磚上,知道火花工作將由最終用戶從瀏覽器的他想要的任何時候。我隻需要改變配置在火花connexion磚服務器:
conf.setMaster(“火花:/ / databricks.server.url:港口”);
或者我應該編輯的代碼提交工作(在一個單獨的類重寫引發部分主要方法和提交!)?
對任何建議/ recomandation請,謝謝你的幫助和時間。
如果弄亂的任何信息,我將把它添加隻是讓我知道。
謝謝你的回答。
我們使用火花,因為應用程序就像一個定製的ETL、用戶負載文件和他可以申請盡可能多的轉換(為每個轉換在後台有一個microservice如何執行SQL的火花)。項目的初POC證明火花是比簡單的java應用程序。
就我所知,spark-submit自動定量是不可能的,它是相同的Azure磚工作嗎?如果就業可伸縮性是可用的API,開始與最低配置和使用一個服務器,可伸縮性可以是一個正確的解決方案?
我還分析了流媒體場景……