[發(fā)明專利]基于大數(shù)據(jù)的數(shù)據(jù)處理方法、裝置、計(jì)算機(jī)設(shè)備和介質(zhì)

在審

• 申請(qǐng)?zhí)枺?/td>: 202010185774.1
• 申請(qǐng)日: 2020-03-16
• 公開（公告）號(hào): CN111552696A
• 公開（公告）日: 2020-08-18
• 發(fā)明（設(shè)計(jì)）人: 鄭如剛
• 申請(qǐng)（專利權(quán)）人: 深圳壹賬通智能科技有限公司
• 主分類號(hào): G06F16/23
• 分類號(hào): G06F16/23;G06F16/27;G06F16/28
• 代理公司: 深圳市世聯(lián)合知識(shí)產(chǎn)權(quán)代理有限公司 44385
• 代理人: 汪琳琳

本申請(qǐng)屬于數(shù)據(jù)處理領(lǐng)域，公開了一種基于大數(shù)據(jù)的數(shù)據(jù)處理方法、裝置、計(jì)算機(jī)設(shè)備及可讀存儲(chǔ)介質(zhì)。所述方法包括接收用戶終端發(fā)送的數(shù)據(jù)信息；對(duì)數(shù)據(jù)信息進(jìn)行編號(hào)處理，得到每一個(gè)數(shù)據(jù)信息的編號(hào)信息，并將編號(hào)處理后的數(shù)據(jù)信息作為待復(fù)制數(shù)據(jù)存儲(chǔ)于數(shù)據(jù)庫中；將待復(fù)制數(shù)據(jù)復(fù)制到消息隊(duì)列集群中，作為待封裝數(shù)據(jù)；接收請(qǐng)求終端發(fā)送的數(shù)據(jù)獲取請(qǐng)求，并根據(jù)數(shù)據(jù)獲取請(qǐng)求對(duì)所述待封裝數(shù)據(jù)進(jìn)行封裝，得到待校驗(yàn)數(shù)據(jù)；查詢與待校驗(yàn)數(shù)據(jù)的編號(hào)信息一致的所述待復(fù)制數(shù)據(jù)，作為對(duì)比數(shù)據(jù)；將待校驗(yàn)數(shù)據(jù)與對(duì)比數(shù)據(jù)進(jìn)行一致性對(duì)比，得到對(duì)比結(jié)果，并根據(jù)對(duì)比結(jié)果對(duì)待校驗(yàn)數(shù)據(jù)進(jìn)行處理。采用本方法解決了現(xiàn)有技術(shù)中無法對(duì)特征進(jìn)行準(zhǔn)確提取的技術(shù)問題。

技術(shù)領(lǐng)域

本申請(qǐng)涉及數(shù)據(jù)處理領(lǐng)域，特別是涉及一種基于大數(shù)據(jù)的數(shù)據(jù)處理方法、裝置、計(jì)算機(jī)設(shè)備和存儲(chǔ)介質(zhì)。

背景技術(shù)

伴隨著云計(jì)算和大數(shù)據(jù)的發(fā)展，高并發(fā)、高負(fù)載的數(shù)據(jù)運(yùn)算處理也越來越多。其中，數(shù)據(jù)在系統(tǒng)之間的傳遞也越來越多，而傳統(tǒng)技術(shù)中的數(shù)據(jù)傳遞方式必須通過逐級(jí)傳遞，在一個(gè)系統(tǒng)上完成一項(xiàng)操作之后，才能夠?qū)?shù)據(jù)傳輸至下一系統(tǒng)進(jìn)行操作，使得數(shù)據(jù)處理在系統(tǒng)之間的處理時(shí)間較長(zhǎng)，不能夠做到及時(shí)回復(fù)。因此消息隊(duì)列應(yīng)用而生，消息隊(duì)列作為一種分布式應(yīng)用間交換信息的技術(shù)，能夠駐留在磁盤或者內(nèi)存上，隊(duì)列存儲(chǔ)消息直到信息被系統(tǒng)讀走。通過消息隊(duì)列，系統(tǒng)可以獨(dú)立的執(zhí)行相應(yīng)的操作，多個(gè)操作同時(shí)進(jìn)行，而不需要進(jìn)行逐級(jí)的傳遞，節(jié)省了數(shù)據(jù)傳遞的時(shí)間，使得數(shù)據(jù)處理的時(shí)間急劇縮短。但是由于在消息隊(duì)列中讀取到數(shù)據(jù)有可能并不原始的數(shù)據(jù)，因此就有可能會(huì)出現(xiàn)從消息隊(duì)列集群中讀取到的數(shù)據(jù)信息與數(shù)據(jù)庫中的數(shù)據(jù)信息不一致的技術(shù)問題。

發(fā)明內(nèi)容

基于此，有必要針對(duì)上述技術(shù)問題，本申請(qǐng)?zhí)峁┮环N基于大數(shù)據(jù)的數(shù)據(jù)處理方法、裝置、計(jì)算機(jī)設(shè)備及存儲(chǔ)介質(zhì)，以解決現(xiàn)有技術(shù)中無法對(duì)特征進(jìn)行準(zhǔn)確提取，導(dǎo)致的從消息隊(duì)列集群中讀取到的數(shù)據(jù)信息與數(shù)據(jù)庫中的數(shù)據(jù)信息不一致的技術(shù)問題。

一種基于大數(shù)據(jù)的數(shù)據(jù)處理方法，所述方法包括：

接收用戶終端發(fā)送的數(shù)據(jù)信息；

對(duì)所述數(shù)據(jù)信息進(jìn)行編號(hào)處理，得到每一個(gè)所述數(shù)據(jù)信息的編號(hào)信息，并將編號(hào)處理后的數(shù)據(jù)信息作為待復(fù)制數(shù)據(jù)存儲(chǔ)于數(shù)據(jù)庫中；

將所述待復(fù)制數(shù)據(jù)復(fù)制到消息隊(duì)列集群中，作為待封裝數(shù)據(jù)；

接收請(qǐng)求終端發(fā)送的數(shù)據(jù)獲取請(qǐng)求，并根據(jù)所述數(shù)據(jù)獲取請(qǐng)求對(duì)所述待封裝數(shù)據(jù)進(jìn)行封裝，得到待校驗(yàn)數(shù)據(jù)；

查詢與所述待校驗(yàn)數(shù)據(jù)的編號(hào)信息一致的所述待復(fù)制數(shù)據(jù)，作為對(duì)比數(shù)據(jù)；

將所述待校驗(yàn)數(shù)據(jù)與所述對(duì)比數(shù)據(jù)進(jìn)行一致性對(duì)比，得到對(duì)比結(jié)果，并根據(jù)所述對(duì)比結(jié)果對(duì)所述待校驗(yàn)數(shù)據(jù)進(jìn)行處理。

一種基于大數(shù)據(jù)的數(shù)據(jù)處理裝置，所述裝置包括：

接收模塊，用于接收用戶終端發(fā)送的數(shù)據(jù)信息；

編號(hào)模塊，用于對(duì)所述數(shù)據(jù)信息進(jìn)行編號(hào)處理，得到每一個(gè)所述數(shù)據(jù)信息的編號(hào)信息，并將編號(hào)處理后的數(shù)據(jù)信息作為待復(fù)制數(shù)據(jù)存儲(chǔ)于數(shù)據(jù)庫中；

待發(fā)模塊，用于將所述待復(fù)制數(shù)據(jù)復(fù)制到消息隊(duì)列集群中，作為待封裝數(shù)據(jù)；

封裝模塊，用于接收請(qǐng)求終端發(fā)送的數(shù)據(jù)獲取請(qǐng)求，并根據(jù)所述數(shù)據(jù)獲取請(qǐng)求對(duì)所述待封裝數(shù)據(jù)進(jìn)行封裝，得到待校驗(yàn)數(shù)據(jù)；

查詢模塊，用于查詢與所述待校驗(yàn)數(shù)據(jù)的編號(hào)信息一致的所述待復(fù)制數(shù)據(jù)，作為對(duì)比數(shù)據(jù)；

對(duì)比模塊，用于將所述待校驗(yàn)數(shù)據(jù)與所述對(duì)比數(shù)據(jù)進(jìn)行一致性對(duì)比，得到對(duì)比結(jié)果，并根據(jù)所述對(duì)比結(jié)果對(duì)所述待校驗(yàn)數(shù)據(jù)進(jìn)行處理。

一種計(jì)算機(jī)設(shè)備，包括存儲(chǔ)器和處理器，以及存儲(chǔ)在所述存儲(chǔ)器中并可在所述處理器上運(yùn)行的計(jì)算機(jī)程序，所述處理器執(zhí)行所述計(jì)算機(jī)程序時(shí)實(shí)現(xiàn)上述基于大數(shù)據(jù)的數(shù)據(jù)處理方法的步驟。