[發(fā)明專利]一種基于內(nèi)存的分布式異常數(shù)據(jù)處理方法和設(shè)備

在審

• 申請(qǐng)?zhí)枺?/td>: 201911420140.3
• 申請(qǐng)日: 2019-12-31
• 公開（公告）號(hào): CN111158960A
• 公開（公告）日: 2020-05-15
• 發(fā)明（設(shè)計(jì)）人: 涂海
• 申請(qǐng)（專利權(quán)）人: 北京訊鳥軟件有限公司
• 主分類號(hào): G06F11/14
• 分類號(hào): G06F11/14
• 代理公司: 北京汲智翼成知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11381
• 代理人: 陳曦;陳琳

1.一種基于內(nèi)存的分布式異常數(shù)據(jù)處理方法，其特征在于包括如下步驟：

復(fù)數(shù)個(gè)正常數(shù)據(jù)處理模塊開始業(yè)務(wù)數(shù)據(jù)處理，將所述業(yè)務(wù)數(shù)據(jù)處理中的待備份數(shù)據(jù)建立備份數(shù)據(jù)集合，所述備份數(shù)據(jù)集合是按照時(shí)間順序排列的有序集合；

在所述正常數(shù)據(jù)處理模塊開始之后的預(yù)定時(shí)間，備份數(shù)據(jù)處理模塊開始對(duì)所述復(fù)數(shù)個(gè)正常數(shù)據(jù)處理模塊的輪詢；

在所述備份數(shù)據(jù)處理模塊的輪詢中，查詢所述復(fù)數(shù)個(gè)正常數(shù)據(jù)處理模塊中的第一正常數(shù)據(jù)處理模塊的備份數(shù)據(jù)集合是否有小于當(dāng)前時(shí)間戳的備份數(shù)據(jù)；

響應(yīng)于所述第一正常數(shù)據(jù)處理模塊的備份數(shù)據(jù)集合有小于當(dāng)前時(shí)間戳的備份數(shù)據(jù)，獲取所述備份數(shù)據(jù)的數(shù)據(jù)類型和數(shù)據(jù)處理狀態(tài)，根據(jù)所述數(shù)據(jù)類型和數(shù)據(jù)處理狀態(tài)進(jìn)行相應(yīng)的備份處理。

2.如權(quán)利要求1所述的分布式異常數(shù)據(jù)處理方法，其特征在于所述數(shù)據(jù)類型包括：null類型、string類型和hash類型。

3.如權(quán)利要求2所述的分布式異常數(shù)據(jù)處理方法，其特征在于：所述獲取所述備份數(shù)據(jù)的數(shù)據(jù)類型和數(shù)據(jù)處理狀態(tài)，根據(jù)所述數(shù)據(jù)類型和數(shù)據(jù)處理狀態(tài)進(jìn)行相應(yīng)的備份處理包括：

確定所述備份數(shù)據(jù)的數(shù)據(jù)類型和數(shù)據(jù)處理狀態(tài)；

在確定出所述備份數(shù)據(jù)的數(shù)據(jù)類型為string類型且數(shù)據(jù)處理狀態(tài)為第一狀態(tài)值時(shí)，確定所述備份數(shù)據(jù)對(duì)應(yīng)的正常數(shù)據(jù)的備份信息和hash值是否存在，響應(yīng)于所述備份信息和hash中的一個(gè)或兩個(gè)不存在，刪除所述備份數(shù)據(jù)對(duì)應(yīng)的有序集合項(xiàng)目和所述備份信息，響應(yīng)于所述備份信息和hash都存在，記錄模塊積壓數(shù)據(jù)一次，并且重置所述備份數(shù)據(jù)的hash_key的score為當(dāng)前時(shí)間戳+默認(rèn)超時(shí)時(shí)間+正常等待次數(shù)*正常等待時(shí)間遞增間隔，其中，+為算數(shù)加法符號(hào)，*為算數(shù)乘法符號(hào)；

在確定出所述備份數(shù)據(jù)的數(shù)據(jù)類型為string類型且數(shù)據(jù)處理狀態(tài)為第二狀態(tài)值時(shí)，確定失敗確認(rèn)狀態(tài)，響應(yīng)于失敗確認(rèn)狀態(tài)為第一失敗狀態(tài)，將失敗確認(rèn)狀態(tài)設(shè)置為第二值，并把所述備份數(shù)據(jù)的超時(shí)時(shí)間更新為預(yù)定數(shù)值，響應(yīng)于再次超時(shí)且數(shù)據(jù)處理狀態(tài)為所述第二狀態(tài)值且所述失敗確認(rèn)狀態(tài)為所述第二值，確定所述備份數(shù)據(jù)的hash_key執(zhí)行失敗，計(jì)算所述備份數(shù)據(jù)的hash_key執(zhí)行失敗的次數(shù)，若執(zhí)行失敗的次數(shù)小于預(yù)定的閾值，則將執(zhí)行失敗的次數(shù)加1，并且將超時(shí)時(shí)間重置為當(dāng)前時(shí)間戳+默認(rèn)超時(shí)時(shí)間，刪除失敗確認(rèn)狀態(tài)和數(shù)據(jù)處理狀態(tài)，按照所述有序集合中的關(guān)聯(lián)信息放入正常數(shù)據(jù)模塊的正常數(shù)據(jù)隊(duì)列進(jìn)行處理；若執(zhí)行失敗次數(shù)大于或等于預(yù)定的閾值，刪除所述有序集合中的備份數(shù)據(jù)對(duì)應(yīng)的項(xiàng)目，并將所述對(duì)應(yīng)的項(xiàng)目放入錯(cuò)誤存儲(chǔ)隊(duì)列；

確定出在確定出所述備份數(shù)據(jù)的數(shù)據(jù)類型為string類型且數(shù)據(jù)處理狀態(tài)為第三狀態(tài)值時(shí)，刪除所述備份數(shù)據(jù)對(duì)應(yīng)的正常數(shù)據(jù)、有序集合中的項(xiàng)目和備份信息以及數(shù)據(jù)處理狀態(tài)。