錯誤:沒有流偵聽器附加到火花應用錯誤我們正在觀察訪問流媒體數據API。請盡快幫助我們解決這個問題。謝謝。

[swetha]

問題:火花結構化流媒體應用

添加偵聽器jar文件之後集群中的init腳本,偵聽器工作(從我所看到的在stdout / log4j日誌)

但是當我嚐試了

“application / json內容類型:http://host api / v1 /應用程序/應用id /流/統計數據終點

這是顯示沒有流偵聽器附加到火花應用程序

細節:

我們已經創建了一個jar文件包含下麵的類文件下麵的代碼,使它可用於集群使用shell腳本

Shell腳本:

# ! / bin / bash

cp / dbfs / FileStore /罐/ my_jar。jar /磚/ jar

mySparkListener類:

進口org.apache.spark.sql.streaming.StreamingQueryListener

進口org.apache.spark.sql.streaming.StreamingQueryListener._

進口org.apache.spark.sql.streaming.StreamingQueryProgress

進口org.apache.log4j.Logger

進口org.joda.time.DateTime

進口scala.collection.JavaConverters._

類mySparkListener延伸StreamingQueryListener {

覆蓋def onQueryStarted (queryStarted: QueryStartedEvent):單位= {

println(“查詢開始:”+queryStarted.id)

}

覆蓋def onQueryTerminated (queryTerminated: QueryTerminatedEvent):單位= {

println(“查詢終止:”+queryTerminated.id)

}

覆蓋def onQueryProgress (queryProgress: QueryProgressEvent):單位= {

println(“查詢取得了進展:”+ queryProgress.progress)

}

}

= new mySparkListener val偵聽器()

spark.streams.addListener(聽眾)

注:我已經配置後添加到集群中

1. spark.sql.streaming。metricsEnabled真實
2. * .sink.servlet。類org.apache.spark.metrics.sink.MetricsServlet
3. * .sink.servlet。路徑/標準/ json
4. master.sink.servlet。路徑/標準/主/ json
5. applications.sink.servlet。路徑/標準/應用程序/ json

[Kaniz]

嗨@swetha(客戶),請檢查年代。O線程。它可能會給你一些見解。讓我們知道是否有幫助。

[swetha]

嗨@Kaniz所有,謝謝你的回複,我是一個火花結構化流媒體應用程序,我不能夠訪問通過端點,我們有單獨的API的監控火花結構化流媒體的應用程序

[jose_gonzalez]

我想分享以下文檔https://docs.m.eheci.com/structured-streaming/stream-monitoring.html請讓我們知道如果有幫助

[Vidula]

嗨@swetha聯合國

希望一切都好!隻是想檢查如果你能解決你的問題,你會很高興分享解決方案或答案標記為最佳?其他的請讓我們知道如果你需要更多的幫助。

我們很想聽到你的聲音。

謝謝!