[發(fā)明專(zhuān)利]一種基于內(nèi)存的分布式異常數(shù)據(jù)處理方法和設(shè)備

在審

• 申請(qǐng)?zhí)枺?/td>: 201911420140.3
• 申請(qǐng)日: 2019-12-31
• 公開(kāi)（公告）號(hào): CN111158960A
• 公開(kāi)（公告）日: 2020-05-15
• 發(fā)明（設(shè)計(jì)）人: 涂海
• 申請(qǐng)（專(zhuān)利權(quán)）人: 北京訊鳥(niǎo)軟件有限公司
• 主分類(lèi)號(hào): G06F11/14
• 分類(lèi)號(hào): G06F11/14
• 代理公司: 北京汲智翼成知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11381
• 代理人: 陳曦;陳琳

本發(fā)明公開(kāi)了一種基于內(nèi)存的分布式異常數(shù)據(jù)處理方法，同時(shí)還公開(kāi)了一種基于內(nèi)存進(jìn)行分布式異常數(shù)據(jù)處理的計(jì)算機(jī)設(shè)備。在該分布式異常數(shù)據(jù)處理方法中，對(duì)正常數(shù)據(jù)處理模塊中的待備份數(shù)據(jù)建立有序集合，根據(jù)有序集合中的score確定備份模塊的輪詢(xún)順序，基于備份數(shù)據(jù)的類(lèi)型和處理狀態(tài)進(jìn)行相應(yīng)處理，確保備份數(shù)據(jù)能夠被準(zhǔn)確的恢復(fù)和刪除。

技術(shù)領(lǐng)域

本發(fā)明涉及一種基于內(nèi)存的分布式異常數(shù)據(jù)處理方法，同時(shí)還涉及一種基于內(nèi)存進(jìn)行分布式異常數(shù)據(jù)處理的計(jì)算機(jī)設(shè)備，屬于計(jì)算機(jī)數(shù)據(jù)處理技術(shù)領(lǐng)域。

背景技術(shù)

在大型的服務(wù)器一側(cè)的業(yè)務(wù)數(shù)據(jù)處理中，經(jīng)常會(huì)由于各種不同的原因?qū)е乱恍?shù)據(jù)在數(shù)據(jù)處理的某一個(gè)或某幾個(gè)處理節(jié)點(diǎn)沒(méi)有完成正常的數(shù)據(jù)處理，而成為異常數(shù)據(jù)。對(duì)于這些沒(méi)有完成正常數(shù)據(jù)的異常數(shù)據(jù)，通常會(huì)進(jìn)行備份處理，以便在服務(wù)器的數(shù)據(jù)處理的空閑時(shí)期或其他預(yù)定時(shí)間進(jìn)行相應(yīng)的處理，從而保證數(shù)據(jù)的整體的完整性和準(zhǔn)確性。

然而，異常數(shù)據(jù)包含的種類(lèi)繁雜多樣，對(duì)應(yīng)的處理狀態(tài)也多種多樣，如何在具體的應(yīng)用場(chǎng)景中，完成對(duì)異常數(shù)據(jù)進(jìn)行要有效的恢復(fù)處理，成為亟需解決的技術(shù)問(wèn)題。

發(fā)明內(nèi)容

本發(fā)明所要解決的首要技術(shù)問(wèn)題在于提供一種基于內(nèi)存的分布式異常數(shù)據(jù)處理方法。

本發(fā)明所要解決的另一技術(shù)問(wèn)題在于提供一種基于內(nèi)存進(jìn)行分布式異常數(shù)據(jù)處理的計(jì)算機(jī)設(shè)備。

為實(shí)現(xiàn)上述目的，本發(fā)明采用下述的技術(shù)方案：

根據(jù)本發(fā)明實(shí)施例的第一方面，提供一種基于內(nèi)存的分布式異常數(shù)據(jù)處理方法，包括如下步驟：復(fù)數(shù)個(gè)正常數(shù)據(jù)處理模塊開(kāi)始業(yè)務(wù)數(shù)據(jù)處理，將所述業(yè)務(wù)數(shù)據(jù)處理中的待備份數(shù)據(jù)建立備份數(shù)據(jù)集合，所述備份數(shù)據(jù)集合是按照時(shí)間順序排列的有序集合；在所述正常數(shù)據(jù)處理模塊開(kāi)始之后的預(yù)定時(shí)間，備份數(shù)據(jù)處理模塊開(kāi)始對(duì)所述復(fù)數(shù)個(gè)正常數(shù)據(jù)處理模塊的輪詢(xún)；在所述備份數(shù)據(jù)處理模塊的輪詢(xún)中，查詢(xún)所述復(fù)數(shù)個(gè)正常數(shù)據(jù)處理模塊中的第一正常數(shù)據(jù)處理模塊的備份數(shù)據(jù)集合是否有小于當(dāng)前時(shí)間戳的備份數(shù)據(jù)；響應(yīng)于所述第一正常數(shù)據(jù)處理模塊的備份數(shù)據(jù)集合有小于當(dāng)前時(shí)間戳的備份數(shù)據(jù)，獲取所述備份數(shù)據(jù)的數(shù)據(jù)類(lèi)型和數(shù)據(jù)處理狀態(tài)，根據(jù)所述數(shù)據(jù)類(lèi)型和數(shù)據(jù)處理狀態(tài)進(jìn)行相應(yīng)的備份處理。

根據(jù)本發(fā)明實(shí)施例的第二方面，提供一種計(jì)算機(jī)設(shè)備，包括存儲(chǔ)器和處理器，其中，所述存儲(chǔ)器，配置為存儲(chǔ)計(jì)算機(jī)指令；所述處理器，配置為運(yùn)行所述計(jì)算機(jī)指令以使得所述計(jì)算機(jī)設(shè)備執(zhí)行：復(fù)數(shù)個(gè)正常數(shù)據(jù)處理模塊開(kāi)始業(yè)務(wù)數(shù)據(jù)處理，將所述業(yè)務(wù)數(shù)據(jù)處理中的待備份數(shù)據(jù)建立備份數(shù)據(jù)集合，所述備份數(shù)據(jù)集合是按照時(shí)間順序排列的有序集合；在所述正常數(shù)據(jù)處理模塊開(kāi)始之后的預(yù)定時(shí)間，備份數(shù)據(jù)處理模塊開(kāi)始對(duì)所述復(fù)數(shù)個(gè)正常數(shù)據(jù)處理模塊的輪詢(xún)；在所述備份數(shù)據(jù)處理模塊的輪詢(xún)中，查詢(xún)所述復(fù)數(shù)個(gè)正常數(shù)據(jù)處理模塊中的第一正常數(shù)據(jù)處理模塊的備份數(shù)據(jù)集合是否有小于當(dāng)前時(shí)間戳的備份數(shù)據(jù)；響應(yīng)于所述第一正常數(shù)據(jù)處理模塊的備份數(shù)據(jù)集合有小于當(dāng)前時(shí)間戳的備份數(shù)據(jù)，獲取所述備份數(shù)據(jù)的數(shù)據(jù)類(lèi)型和數(shù)據(jù)處理狀態(tài)，根據(jù)所述數(shù)據(jù)類(lèi)型和數(shù)據(jù)處理狀態(tài)進(jìn)行相應(yīng)的備份處理。

與現(xiàn)有技術(shù)相比較，本發(fā)明通過(guò)建立備份模塊輪詢(xún)，輪詢(xún)每個(gè)模塊的備份集合，檢查有序集合的score，根據(jù)數(shù)據(jù)類(lèi)型和數(shù)據(jù)處理狀態(tài)進(jìn)行相應(yīng)的處理，在異常數(shù)據(jù)積壓時(shí)，在保證正常數(shù)據(jù)處理的同時(shí)，準(zhǔn)確的進(jìn)行數(shù)據(jù)清理和數(shù)據(jù)恢復(fù)，保證異常數(shù)據(jù)被及時(shí)處理。

附圖說(shuō)明

圖1示出了根據(jù)本發(fā)明實(shí)施例的基于內(nèi)存的分布式異常數(shù)據(jù)處理方法的流程示意圖。

圖2示出了根據(jù)本發(fā)明實(shí)施例的備份數(shù)據(jù)處理模塊的輪詢(xún)處理的部分流程示意圖。

圖3示出了根據(jù)本發(fā)明實(shí)施例的nul l類(lèi)型數(shù)據(jù)處理的流程示意圖。

圖4示出了根據(jù)本發(fā)明實(shí)施例的hash類(lèi)型數(shù)據(jù)處理的流程示意圖。

圖5示出了根據(jù)本發(fā)明實(shí)施例的string類(lèi)型數(shù)據(jù)處理的流程示意圖。