[發明專利]一種流事件的處理方法及裝置

在審

• 申請號: 201710842372.2
• 申請日: 2017-09-18
• 公開（公告）號: CN109947798A
• 公開（公告）日: 2019-06-28
• 發明（設計）人: 方若潔;常耀斌;吳娜;許利群
• 申請（專利權）人: 中國移動通信有限公司研究院;中國移動通信集團公司
• 主分類號: G06F16/2455
• 分類號: G06F16/2455;G06F9/54
• 代理公司: 北京同達信恒知識產權代理有限公司 11291
• 代理人: 郭潤湘

本發明涉及一種流事件的處理方法及裝置，用于避免發生流事件的溢出和遺漏。該方法為：設計了流隊列和數據庫的雙層緩存池，在捕獲到流事件后，先確定所述流事件的事件類型對應的流隊列，若所述流隊列中沒有空閑空間，則將所述流事件保存至所述流隊列在數據庫中對應的存儲空間內，以及在確定滿足預設條件時，將所述流事件讀取至所述流隊列中等待處理，同時，還需要根據流隊列的使用情況對流隊列的隊列長度進行適應性調整；這樣，可以在高并發的流事件到達時，快速接收流事件并進行保存，防止了因流隊列溢出而造成的流事件的丟失和遺漏，保證了系統的處理性能和處理效率，同時，又可以靈活控制流事件存儲空間大小，減少資源浪費。

技術領域

本發明涉及計算機技術，特別涉及一種流事件的處理方法及裝置。

背景技術

目前，實時流事件并發處理方法按照系統架構可以分為基于web架構的網絡處理方法和基于操作系統的客戶端處理方法。

基于web架構的網絡處理方法技術比較成熟，通常是通過監聽網絡端口獲取流事件相關信息并進行處理。然而，基于web架構的網絡處理方法技術很難處理大數據的實時流事件，以睡眠監測數據為例，其原因如下：

大數據的實時顯示，要求足夠的數據存儲空間，即使將睡眠監測數據按時間切片后存儲，每個片段的大小也在10M左右。對于基于web架構的網絡處理方法而言，其主要是通過瀏覽器方式進行顯示，而瀏覽器的存儲空間一般是在內存中，且實時顯示數據的空間大小一般控制在5-10M。因此，若需要顯示多個待顯示片段，則需要通過瀏覽器在多個待顯示片段之間頻繁切換；由于每個待顯示片段的數據量較大，因此，會造成系統負荷過大，數據加載不全等問題。

進一步的，針對高并發的實時流事件進行處理，要求高效獲取流事件并進行分析。而基于web架構的網絡處理方法，其事件通信方式取決于底層網絡的質量，在高并發流事件的傳輸過程中，容易導致丟包、漏包、無序包等問題。基于上述缺點，目前處理睡眠監測數據這一類具有高實時性、高并發性的流事件時，更傾向于采用基于操作系統的客戶端處理方法。

而基于操作系統的客戶端處理方法，通常是通過監聽操作系統獲取流事件信息并進行處理。

參閱圖1所示，客戶端處理流事件大致流程如下下：

A、讀取各類系統事件包含的若干流事件，并將獲得的若干流事件保存在系統隊列中。

具體的，系統運行過程中會產生各類系統事件，如，幀變更事件、睡覺監測事件等等。而一類系統事件的處理過程往往包含若干步驟，這些步驟可以視為流事件，如，睡眠監測過程中實時產生的各階段的生理數據及相關處理操作便可視為流事件。

系統獲取了各類事件對應的流事件后，先統一保存在系統級隊列中。

B、分別確定各類事件所關聯的應用程序，以及將各類事件包含的流事件保存至相應的應用程序的消息隊列中。

如圖1所示，不同類型的系統事件需要采用不同的應用程序處理，而系統預先會在緩存區中對應每一種應用程序設置相應的消息隊列，并將捕獲的各個類型的流事件存儲相應的消息隊列中。

C、通過各個應用程采用過輪詢方式，從相應的消息隊列中獲得流事件進行業務處理。

D、采用回調函數方式，將獲得的各個處理結果通過視窗進行顯示。

然而，基于操作系統的客戶端處理方法也存在以下缺陷：消息隊列的大小固定，容易造成流事件的溢出和遺漏。

在接收系統事件時，先通過系統隊列和消息隊列存儲在內存中。而單個隊列的長度一般受到內存限制。

針對高并發的流事件進行存儲時，很容易在流事件被密集捕獲時，出現系統隊列存儲空間不夠的情況，從而造成之后捕獲的流事件的溢出以及被系統丟棄，最終導致系統事件無法得到響應。