取消
顯示的結果
而不是尋找
你的意思是:

數據從azure獲得閱讀時錯過了事件使用火花流中心

Rishi045
新的貢獻者二世

你好,

我麵臨一個問題的數據被錯過了。

我在讀azure事件的數據中心和壓扁後json數據我將它存儲在檢查機關文件,然後使用另一個磚筆記本δ表上執行合並操作通過添加一些etl列。

然而在某個地方的記錄越來越想念。

我已經安排了工作,每小時運行一次。

有人能幫幫我。

11日回複11

Rishi045
新的貢獻者二世

到目前為止我沒有任何foreachbatch代碼。

我在執行dedup整個數據來自事件中心

Hubert_Dudek1
尊敬的貢獻者三世

——EventHub,你可以使用Azure Analitycs預覽事件中心的工作,所以請先檢查所有記錄

——請在磚,它直接保存到青銅三角洲表沒有執行任何聚合,1比1,檢查是否所有的記錄。

-請考慮使用達美住表的攝入事件中心。它會讓你的生活更容易對監測流,數據質量,在需要時執行全部刷新。

歡迎來到磚社區:讓學習、網絡和一起慶祝

加入我們的快速增長的數據專業人員和專家的80 k +社區成員,準備發現,幫助和合作而做出有意義的聯係。

點擊在這裏注冊今天,加入!

參與令人興奮的技術討論,加入一個組與你的同事和滿足我們的成員。

Baidu
map