[發(fā)明專利]數(shù)據(jù)去重方法、裝置、設(shè)備及計(jì)算機(jī)可讀存儲介質(zhì)

在審

• 申請?zhí)枺?/td>: 202011436340.0
• 申請日: 2020-12-10
• 公開（公告）號: CN112463784A
• 公開（公告）日: 2021-03-09
• 發(fā)明（設(shè)計(jì)）人: 沈立;王大飛
• 申請（專利權(quán)）人: 深圳前海微眾銀行股份有限公司
• 主分類號: G06F16/215
• 分類號: G06F16/215;G06F16/22;G06F16/27
• 代理公司: 深圳市世紀(jì)恒程知識產(chǎn)權(quán)代理事務(wù)所 44287
• 代理人: 張志江

1.一種數(shù)據(jù)去重統(tǒng)計(jì)方法，其特征在于，所述數(shù)據(jù)去重統(tǒng)計(jì)方法包括如下步驟：

確定ES中用戶申請表的所有存儲數(shù)據(jù)，計(jì)算各所述存儲數(shù)據(jù)占用內(nèi)存空間的占用空間總值，檢測所述占用空間總值是否大于預(yù)設(shè)閥值；

若所述占用空間總值大于預(yù)設(shè)閾值，則對各所述存儲數(shù)據(jù)進(jìn)行編碼壓縮處理，以獲取編碼壓縮數(shù)據(jù)；

對所述編碼壓縮數(shù)據(jù)進(jìn)行分片處理，以得到所有分片，對各所述分片的分片存儲數(shù)據(jù)進(jìn)行去重處理，以獲取去重?cái)?shù)組，并根據(jù)所述去重?cái)?shù)組獲取數(shù)據(jù)統(tǒng)計(jì)結(jié)果。

2.如權(quán)利要求1所述的數(shù)據(jù)去重統(tǒng)計(jì)方法，其特征在于，所述對各所述存儲數(shù)據(jù)進(jìn)行編碼壓縮處理，以獲取編碼壓縮數(shù)據(jù)的步驟，包括：

將各所述存儲數(shù)據(jù)的數(shù)據(jù)類型由原始數(shù)據(jù)類型壓縮為目標(biāo)數(shù)據(jù)類型，并對經(jīng)過壓縮處理后的各所述存儲數(shù)據(jù)進(jìn)行編碼，以獲取編碼壓縮數(shù)據(jù)。

3.如權(quán)利要求2所述的數(shù)據(jù)去重統(tǒng)計(jì)方法，其特征在于，所述對經(jīng)過壓縮處理后的各所述存儲數(shù)據(jù)進(jìn)行編碼，以獲取編碼壓縮數(shù)據(jù)的步驟，包括：

對經(jīng)過壓縮處理后的各所述存儲數(shù)據(jù)進(jìn)行編碼，以獲取編碼數(shù)據(jù)，并檢測是否接收到新增數(shù)據(jù)；

若接收到新增數(shù)據(jù)，則根據(jù)所述新增數(shù)據(jù)對所述編碼數(shù)據(jù)進(jìn)行更新，并將更新后的編碼數(shù)據(jù)作為編碼壓縮數(shù)據(jù)。

4.如權(quán)利要求1所述的數(shù)據(jù)去重統(tǒng)計(jì)方法，其特征在于，所述對各所述分片的分片存儲數(shù)據(jù)進(jìn)行去重處理，以獲取去重?cái)?shù)組，并根據(jù)所述去重?cái)?shù)組獲取數(shù)據(jù)統(tǒng)計(jì)結(jié)果的步驟，包括：

根據(jù)預(yù)設(shè)數(shù)據(jù)格式函數(shù)對各所述分片的分片存儲數(shù)據(jù)進(jìn)行去重處理，以獲取各所述分片對應(yīng)的去重?cái)?shù)組；

創(chuàng)建所述預(yù)設(shè)數(shù)據(jù)格式函數(shù)對應(yīng)的新數(shù)據(jù)格式函數(shù)，根據(jù)所述新數(shù)據(jù)格式函數(shù)對各所述去重?cái)?shù)組繼續(xù)進(jìn)行去重處理，以獲取目標(biāo)存儲數(shù)據(jù)，并將所述目標(biāo)存儲數(shù)據(jù)作為數(shù)據(jù)統(tǒng)計(jì)結(jié)果。

5.如權(quán)利要求4所述的數(shù)據(jù)去重統(tǒng)計(jì)方法，其特征在于，所述根據(jù)預(yù)設(shè)數(shù)據(jù)格式函數(shù)對各所述分片的分片存儲數(shù)據(jù)進(jìn)行去重處理，以獲取各所述分片對應(yīng)的去重?cái)?shù)組的步驟，包括：

依次遍歷各所述分片，將遍歷的分片中的存儲數(shù)據(jù)作為分片存儲數(shù)據(jù)，判斷所述分片存儲數(shù)據(jù)的字段值是否為非空值；

若是非空值，則將所述分片存儲數(shù)據(jù)寫入至預(yù)設(shè)數(shù)據(jù)格式函數(shù)進(jìn)行去重處理，以獲取去重?cái)?shù)據(jù)，并將遍歷的分片中的所有存儲數(shù)據(jù)對應(yīng)的去重?cái)?shù)據(jù)作為遍歷的分片對應(yīng)的去重?cái)?shù)組。

6.如權(quán)利要求5所述的數(shù)據(jù)去重統(tǒng)計(jì)方法，其特征在于，所述將所述分片存儲數(shù)據(jù)寫入至預(yù)設(shè)數(shù)據(jù)格式函數(shù)進(jìn)行去重處理的步驟之后，包括：

確定各所述分片對應(yīng)的鏈表，計(jì)算所述分片存儲數(shù)據(jù)的哈希值，以所述哈希值為數(shù)組位置和各所述鏈表進(jìn)行匹配；

若在各所述鏈表中存在目標(biāo)鏈表和所述數(shù)組位置匹配，則檢測所述目標(biāo)鏈表中是否存在和所述分片存儲數(shù)據(jù)相同的已存儲數(shù)據(jù)；

若不存在，則在所述目標(biāo)鏈表中新增所述分片存儲數(shù)據(jù)。

7.如權(quán)利要求1-6任一項(xiàng)所述的數(shù)據(jù)去重統(tǒng)計(jì)方法，其特征在于，所述計(jì)算各所述存儲數(shù)據(jù)占用內(nèi)存空間的占用空間總值的步驟，包括：

確定各所述存儲數(shù)據(jù)對應(yīng)的總字符串，并獲取所述總字符串中字段值的字段值數(shù)量；

獲取所述總字符串中所述存儲數(shù)據(jù)的字符串長度，根據(jù)所述字符串長度和預(yù)設(shè)的最少占用字節(jié)計(jì)算字段長度；

計(jì)算所述字段長度和所述字段值數(shù)量的乘積，并將所述乘積作為所述占用空間總值。

8.一種數(shù)據(jù)去重統(tǒng)計(jì)裝置，其特征在于，所述數(shù)據(jù)去重統(tǒng)計(jì)裝置包括：

計(jì)算模塊，用于確定ES中用戶申請表的所有存儲數(shù)據(jù)，計(jì)算各所述存儲數(shù)據(jù)占用內(nèi)存空間的占用空間總值，檢測所述占用空間總值是否大于預(yù)設(shè)閥值；

編碼壓縮模塊，用于若所述占用空間總值大于預(yù)設(shè)閾值，則對各所述存儲數(shù)據(jù)進(jìn)行編碼壓縮處理，以獲取編碼壓縮數(shù)據(jù)；

統(tǒng)計(jì)模塊，用于對所述編碼壓縮數(shù)據(jù)進(jìn)行分片處理，以得到所有分片，對各所述分片的分片存儲數(shù)據(jù)進(jìn)行去重處理，以獲取去重?cái)?shù)組，并根據(jù)所述去重?cái)?shù)組獲取數(shù)據(jù)統(tǒng)計(jì)結(jié)果。