取消
顯示的結果
而不是尋找
你的意思是:

錯誤:沒有流偵聽器附加到火花應用錯誤我們正在觀察訪問流媒體數據API。請盡快幫助我們解決這個問題。謝謝。

swetha
新的貢獻者三世

問題:火花結構化流媒體應用

添加偵聽器jar文件之後集群中的init腳本,偵聽器工作(從我所看到的在stdout / log4j日誌)

但是當我嚐試了

“application / json內容類型:http://host api / v1 /應用程序/應用id /流/統計數據終點

這是顯示沒有流偵聽器附加到火花應用程序

細節:

我們已經創建了一個jar文件包含下麵的類文件下麵的代碼,使它可用於集群使用shell腳本

Shell腳本:

# ! / bin / bash

cp / dbfs / FileStore /罐/ my_jar。jar /磚/ jar

mySparkListener類:

進口org.apache.spark.sql.streaming.StreamingQueryListener

進口org.apache.spark.sql.streaming.StreamingQueryListener._

進口org.apache.spark.sql.streaming.StreamingQueryProgress

進口org.apache.log4j.Logger

進口org.joda.time.DateTime

進口scala.collection.JavaConverters._

類mySparkListener延伸StreamingQueryListener {

覆蓋def onQueryStarted (queryStarted: QueryStartedEvent):單位= {

println(“查詢開始:”+queryStarted.id)

}

覆蓋def onQueryTerminated (queryTerminated: QueryTerminatedEvent):單位= {

println(“查詢終止:”+queryTerminated.id)

}

覆蓋def onQueryProgress (queryProgress: QueryProgressEvent):單位= {

println(“查詢取得了進展:”+ queryProgress.progress)

}

}

= new mySparkListener val偵聽器()

spark.streams.addListener(聽眾)

注:我已經配置後添加到集群中

  1. spark.sql.streaming。metricsEnabled真實
  2. * .sink.servlet。類org.apache.spark.metrics.sink.MetricsServlet
  3. * .sink.servlet。路徑/標準/ json
  4. master.sink.servlet。路徑/標準/主/ json
  5. applications.sink.servlet。路徑/標準/應用程序/ json

4回複4

Kaniz
社區經理
社區經理

@swetha(客戶),請檢查年代。O線程。它可能會給你一些見解。讓我們知道是否有幫助。

swetha
新的貢獻者三世

嗨@Kaniz所有,謝謝你的回複,我是一個火花結構化流媒體應用程序,我不能夠訪問通過端點,我們有單獨的API的監控火花結構化流媒體的應用程序

我想分享以下文檔https://docs.m.eheci.com/structured-streaming/stream-monitoring.html請讓我們知道如果有幫助

Vidula
尊敬的貢獻者

嗨@swetha聯合國

希望一切都好!隻是想檢查如果你能解決你的問題,你會很高興分享解決方案或答案標記為最佳?其他的請讓我們知道如果你需要更多的幫助。

我們很想聽到你的聲音。

謝謝!

歡迎來到磚社區:讓學習、網絡和一起慶祝

加入我們的快速增長的數據專業人員和專家的80 k +社區成員,準備發現,幫助和合作而做出有意義的聯係。

點擊在這裏注冊今天,加入!

參與令人興奮的技術討論,加入一個組與你的同事和滿足我們的成員。

Baidu
map