[發明專利]一種數據亂序到達處理方法和系統

有效

• 申請號: 201710236101.2
• 申請日: 2017-04-12
• 公開（公告）號: CN106997394B
• 公開（公告）日: 2019-06-14
• 發明（設計）人: 李廣;王純斌;曹洹太;覃進學;劉旻哲
• 申請（專利權）人: 成都四方偉業軟件股份有限公司
• 主分類號: G06F16/22
• 分類號: G06F16/22
• 代理公司: 成都金英專利代理事務所(普通合伙) 51218
• 代理人: 袁英

1.一種數據亂序到達處理方法，其特征在于，它包括以下步驟：

S103：提取當前時間窗口字段，將時間窗口字段處理成日期類型數據；

S104：判斷用戶流數據是否存在指定時間窗口字段，

（1）如果用戶流數據沒有指定時間窗口字段，則使用當前時間作為時間分片字段；

（2）如果用戶流數據有指定時間窗口字段，且指定的時間窗口字段不在合法窗口內，則丟棄該字段并記錄日志，將日志作為時間分片字段；

（3）如果用戶流數據有指定時間窗口字段，且指定的時間窗口字段在合法窗口內，則使用該字段作為該條用戶流數據的時間分片字段；

S105：標記步驟S4中得到的時間分片字段所在的時間窗口字段，并從Redis存儲庫中提取在該時間窗口字段之前的數據集；

S106：判斷標記的時間窗口字段的時間分片數據是否在步驟S5中提取的數據集中，

（1）如果所述的時間分片數據在數據集中，則將所述的時間分片數據與數據集合并，并將合并后的數據重新存儲到Redis存儲庫中；

（2）如果所述的時間分片數據不在數據集中，則對所述的時間分片數據新建數據表單，并將新建數據表單添加到Redis存儲庫中；

S107：存儲該條用戶流數據到Redis存儲庫中，更新Redis存儲庫。

2.根據權利要求1所述的一種數據亂序到達處理方法，其特征在于：在步驟S103之前，還包括以下步驟：

S101：接收用戶流數據；

S102：對接收到的用戶流數據進行預處理，判斷數據的有效性，并對有效數據轉換數據類型。

3.根據權利要求1所述的一種數據亂序到達處理方法，其特征在于：所述的用戶流數據包括傳感器數據、業務系統數據和服務器日志。

4.一種數據亂序到達處理系統，其特征在于，它包括：

數據處理模塊，用于將時間窗口字段處理成日期類型數據；

第一判斷模塊，用于判斷用戶流數據是否存在指定時間窗口字段；

（1）如果用戶流數據沒有指定時間窗口字段，則使用當前時間作為時間分片字段；

（2）如果用戶流數據有指定時間窗口字段，且指定的時間窗口字段不在合法窗口內，則丟棄該字段并記錄日志，將日志作為時間分片字段；

（3）如果用戶流數據有指定時間窗口字段，且指定的時間窗口字段在合法窗口內，則使用該字段作為該條用戶流數據的時間分片字段；

標記模塊，用于標記時間分片字段所在的時間窗口字段；并從Redis存儲庫中提取在該時間窗口字段之前的數據集；

第二判斷模塊，用于判斷標記的時間窗口字段的時間分片數據是否在提取的數據集中；

（1）如果所述的時間分片數據在數據集中，則將所述的時間分片數據與數據集合并，并將合并后的數據重新存儲到Redis存儲庫中；

（2）如果所述的時間分片數據不在數據集中，則對所述的時間分片數據新建數據表單，并將新建數據表單添加到Redis存儲庫中；

Redis存儲庫模塊，用于存儲時間分片數據和用戶流數據。

5.根據權利要求4所述的一種數據亂序到達處理系統，其特征在于：它還包括數據接收模塊，用于接收用戶流數據。

6.根據權利要求4所述的一種數據亂序到達處理系統，其特征在于：它還包括預處理模塊，用于對接收到的用戶流數據進行預處理，判斷數據的有效性，并對有效數據轉換數據類型。

7.根據權利要求4所述的一種數據亂序到達處理系統，其特征在于：它還包括配置模塊，用于配置數據清洗流程。