[發明專利]一種實時數據的處理方法及裝置

有效

• 申請號: 201910515532.1
• 申請日: 2019-06-14
• 公開（公告）號: CN110297602B
• 公開（公告）日: 2023-03-07
• 發明（設計）人: 胡文;丁浩
• 申請（專利權）人: 北京奇藝世紀科技有限公司
• 主分類號: G06F3/06
• 分類號: G06F3/06
• 代理公司: 北京柏杉松知識產權代理事務所(普通合伙) 11413
• 代理人: 丁蕓;項京

本發明實施例提供了一種實時數據的處理方法及裝置。該方法中：判斷實時數據的生成時間是否位于當前處理周期對應的允許處理范圍(X₁，X₂]或[X₁，X₂)內；X₁早于該處理周期的起始點，X₂早于該處理周期的結束點；如果是，將實時數據存儲到第一緩沖隊列；當生成時間不小于X₂時，將實時數據存到第二緩沖隊列；待當前處理周期結束，將第一緩沖隊列的實時數據存入當前處理周期對應的數據分區，清空第一緩沖隊列，將第二緩沖隊列的實時數據復制至第一緩沖隊列，進入下一處理周期。本發明實施例提供的實時數據的處理方法，可以避免在對實時數據按照數據分區進行處理的階段中發生處理順序混亂的現象。

技術領域

本發明涉及數據存儲技術領域，特別是涉及一種實時數據的處理方法及裝置。

背景技術

實時數據是指對數據的生成、收集以及處理，均具有較高的時效性要求的數據。由于實時數據的數據量通常較為龐大，且對實時數據的處理過程通常較為復雜，因此，每生成一條實時數據，就實時地對該條實時數據進行收集和處理，并不容易實現。針對這一問題，現有技術將對實時數據的處理過程分為兩個階段。在第一階段，按處理周期存儲實時數據，每一處理周期對應一個用于存儲實時數據的數據分區，具體的，將在每個處理周期里收集到的實時數據存儲到對應的數據分區中。在第二階段，按照數據分區所對應的處理周期的先后順序，對實時數據進行處理。

然而，發明人在實現本發明的過程中發現，現有技術至少存在如下問題：

第一階段中，由于數據傳輸路徑不穩定等因素的影響，對實時數據進行收集時，存在時間上的延遲，且每條實時數據的延遲時間是不一定的。這可能使得生成時間較早的實時數據，因延遲到達而被收集到較為靠后的處理周期對應的數據分區中。這樣，在第二階段中，該條實時數據被處理的時間就會被延遲，而生成時間比該實時數據晚的實時數據被處理的時間，反而早于該實時數據被處理的時間。

因此，在延遲到達的實時數據也可以被有效處理的前提下，如何避免在對實時數據按照數據分區進行處理的階段中，發生處理順序混亂的現象，是一個亟待解決的問題。

發明內容

本發明實施例的目的在于提供一種實時數據的處理方法及裝置，以避免在對實時數據按照數據分區對進行處理的階段中，發生處理順序混亂的現象。具體技術方案如下：

一種實時數據的處理方法，所述實時數據被按照預定的處理周期進行存儲，每一處理周期對應一個用于存儲實時數據的數據分區；所述方法包括：

當收集到每一條實時數據時，確定該實時數據的生成時間；

判斷所述生成時間是否位于當前處理周期對應的允許處理范圍內；其中，任一處理周期對應的允許處理范圍為(X₁，X₂]或[X₁，X₂)，X₁為該處理周期的起始點之前預設時長的時間點，X₂為該處理周期的結束點之前預設時長的時間點，該處理周期的下一個處理周期對應的允許處理范圍的X₁的值等于該處理周期對應的允許處理范圍的X₂的值；

當判斷結果為是時，將該實時數據存儲到第一緩沖隊列中；

當判斷結果為否時，判斷所述生成時間是否不小于當前處理周期對應的允許處理范圍的X₂；如果是，將該實時數據存儲到第二緩沖隊列中；

當檢測到當前處理周期結束時，將所述第一緩沖隊列中的實時數據，均存入當前處理周期對應的數據分區中，清空所述第一緩沖隊列，并將所述第二緩沖隊列中的實時數據復制至所述第一緩沖隊列中，進入下一個處理周期。

可選地，所述方法還包括：