[發明專利]一種流數據的實時處理方法、裝置、設備及介質

在審

• 申請號: 202210408628.X
• 申請日: 2022-04-19
• 公開（公告）號: CN114723413A
• 公開（公告）日: 2022-07-08
• 發明（設計）人: 姚永康;殷濤;顧杰;司三三
• 申請（專利權）人: 南京慧爾視軟件科技有限公司
• 主分類號: G06Q10/10
• 分類號: G06Q10/10;G06Q50/30;G08G1/01
• 代理公司: 北京品源專利代理有限公司 11332
• 代理人: 駱文欣

本發明實施例公開了一種流數據的實時處理方法、裝置、設備及介質。其中，該方法包括：若監聽到流數據傳入操作，則讀取所述流數據的數據類型；通過主題與所述數據類型相適配的消息中間件接收所述流數據；若檢測到第一觸發事件，則按照第一粒度時間窗口以及第一粒度時間窗口的預留時段，對各主題的流數據進行處理，得到第一粒度時間窗口處理結果；其中，第一粒度時間窗口按照第一窗口跨度時長順次連接；所述第一粒度時間窗口的預留時段為后一第一粒度時間窗口內與前一第一粒度時間窗口連接的第一預留時段跨度時長的時段；所述第一窗口跨度時長大于所述第一預留時段跨度時長。本技術方案，能夠實現對流數據進行實時的業務分析和處理的效果。

技術領域

本發明涉及數據分析領域，尤其涉及一種流數據的實時處理方法、裝置、設備及介質。

背景技術

目前在交通行業，交通采集設備的用于越來越廣泛，交通采集設備可運用在各種交通場景，如交叉口、高速以及橋梁隧道等。每一種使用場景，都會產生各種類數據，這些數據有的需要實時轉發到其他設備，有的需要實時匯總分析。交通采集設備會源源不斷的發送各類數據，我們把這種源源不斷的數據稱作為無界數據流。

現有處理交通采集的數據的基本上是先把數據存儲到數據庫中，然后在通過查詢數據庫的方式把數據提取出二次分析。然而這樣的方式對數據進行分析，容易造成資源浪費和實時性問題。

發明內容

本發明提供了一種流數據的實時處理方法、裝置、設備及介質，能夠實現對流數據進行實時的業務分析和處理的效果，解決了二次分析造成的資源浪費和實時性問題。

根據本發明的一方面，提供了一種流數據的實時處理方法，所述方法包括：

若監聽到流數據傳入操作，則讀取所述流數據的數據類型；

通過主題與所述數據類型相適配的消息中間件接收所述流數據；其中，所述消息中間件的主題是預先配置的；

若檢測到第一觸發事件，則按照第一粒度時間窗口以及第一粒度時間窗口的預留時段，對各主題的流數據進行處理，得到第一粒度時間窗口處理結果；其中，第一粒度時間窗口按照第一窗口跨度時長順次連接；所述第一粒度時間窗口的預留時段為后一第一粒度時間窗口內與前一第一粒度時間窗口連接的第一預留時段跨度時長的時段；所述第一窗口跨度時長大于所述第一預留時段跨度時長。

可選的，在得到第一粒度時間窗口處理結果之后，所述方法還包括：

對所述第一粒度時間窗口處理結果進行入庫操作。

可選的，按照第一粒度時間窗口以及第一粒度時間窗口的預留時段，對各主題的流數據進行處理，得到第一粒度時間窗口處理結果，包括：

按照第一粒度時間窗口確定待處理數據；

按照第一粒度時間窗口的預留時段，對存在延遲的流數據進行第一粒度時間窗口劃分；

根據劃分得到的各第一粒度時間窗口的待處理數據，對各第一粒度時間窗口的流數據進行處理，得到第一粒度時間窗口處理結果。

可選的，按照第一粒度時間窗口的預留時段，對存在延遲的流數據進行第一粒度時間窗口劃分，包括：

對于在第一粒度時間窗口的預留時段接收到的流數據，讀取流數據時間信息；

若所述時間信息落入前一第一粒度時間窗口，則確定所述流數據存在延遲，并將所述流數據劃分至前一第一粒度時間窗口；

若所述時間信息落入后一第一粒度時間窗口，則將所述流數據劃分至后一第一粒度時間窗口。

可選的，在得到第一粒度時間窗口處理結果之后，所述方法還包括：