[發(fā)明專利]冗余數(shù)據(jù)的處理方法、裝置、服務(wù)器及存儲介質(zhì)

在審

• 申請?zhí)枺?/td>: 202010554791.8
• 申請日: 2020-06-17
• 公開（公告）號: CN111736774A
• 公開（公告）日: 2020-10-02
• 發(fā)明（設(shè)計）人: 陳焜;黃劍飛;曲暢;李東陽
• 申請（專利權(quán)）人: 北京三快在線科技有限公司
• 主分類號: G06F3/06
• 分類號: G06F3/06
• 代理公司: 北京三高永信知識產(chǎn)權(quán)代理有限責(zé)任公司 11138
• 代理人: 唐述燦

本公開提供了一種冗余數(shù)據(jù)的處理方法、裝置、服務(wù)器及存儲介質(zhì)，屬于互聯(lián)網(wǎng)技術(shù)領(lǐng)域。所述方法包括：對多條待處理數(shù)據(jù)進(jìn)行解析，得到多個字段名稱，每個字段名稱對應(yīng)一個字段值和至少一個索引值；根據(jù)多個字段名稱對應(yīng)的字段值和索引值，刪除多條待處理數(shù)據(jù)中的冗余字段，得到多條第一數(shù)據(jù)。本公開無需技術(shù)人員編寫大量代碼，根據(jù)對多條待處理數(shù)據(jù)解析得到的字段名稱對應(yīng)的索引值和字段值，即可刪除多條待處理數(shù)據(jù)中的冗余字段，不僅節(jié)約了人力成本，而且無需針對不同的業(yè)務(wù)修改所編寫的代碼，因而冗余數(shù)據(jù)的處理方式更靈活。

技術(shù)領(lǐng)域

本公開涉及計算機(jī)技術(shù)領(lǐng)域，特別涉及一種冗余數(shù)據(jù)的處理方法、裝置、服務(wù)器及存儲介質(zhì)。

背景技術(shù)

隨著互聯(lián)網(wǎng)領(lǐng)域?qū)?shù)據(jù)的日趨重視，各個企業(yè)都在積累數(shù)據(jù)，并通過對數(shù)據(jù)進(jìn)行加工，衍生出大量新數(shù)據(jù)。由于溝通不暢、標(biāo)準(zhǔn)不同等原因，在對數(shù)據(jù)加工過程中，常常會產(chǎn)生冗余數(shù)據(jù)。由于冗余數(shù)據(jù)不僅會占用大量的存儲空間，而且會影響業(yè)務(wù)的實(shí)現(xiàn)，甚至?xí)档拖到y(tǒng)性能，造成系統(tǒng)雪崩，因此，需要對冗余數(shù)據(jù)進(jìn)行處理。

目前，在對冗余數(shù)據(jù)進(jìn)行處理時，主要采用如下兩種方式：

第一種方式、技術(shù)人員預(yù)先編寫冗余數(shù)據(jù)篩選代碼，基于所編寫的冗余數(shù)據(jù)篩選代碼，從待處理數(shù)據(jù)中篩選出冗余數(shù)據(jù)，進(jìn)而對篩選出來的冗余數(shù)據(jù)進(jìn)行存儲。

第二種方式、技術(shù)人員預(yù)先編寫冗余數(shù)據(jù)篩選代碼和冗余數(shù)據(jù)清洗代碼，基于所編寫的冗余數(shù)據(jù)篩選代碼，從待處理數(shù)據(jù)中篩選出冗余數(shù)據(jù)，進(jìn)而基于所編寫的冗余數(shù)據(jù)清洗代碼，對篩選出的冗余數(shù)據(jù)進(jìn)行刪除。

然而，上述兩種方式依賴于技術(shù)人員編寫的代碼，消耗的人力成本較高，且隨著業(yè)務(wù)變化，需要技術(shù)人員不斷修改所編寫的代碼，導(dǎo)致數(shù)據(jù)處理方式不夠靈活。

發(fā)明內(nèi)容

本公開實(shí)施例提供了一種冗余字段的處理方法、裝置、服務(wù)器及存儲介質(zhì)，能夠降低冗余數(shù)據(jù)處理過程中消耗的人力成本，提高冗余數(shù)據(jù)處理的靈活度。

所述技術(shù)方案如下：

一方面，提供了一種冗余字段的處理方法，所述方法包括：

獲取多條待處理數(shù)據(jù)，每條待處理數(shù)據(jù)的數(shù)據(jù)量大于預(yù)設(shè)閾值；

對所述多條待處理數(shù)據(jù)進(jìn)行解析，得到多個字段名稱，每個字段名稱對應(yīng)一個字段值和至少一個索引值，所述索引值用于指示字段名稱對應(yīng)的字段在待處理數(shù)據(jù)中的位置；

根據(jù)多個字段名稱對應(yīng)的字段值和索引值，刪除所述多條待處理數(shù)據(jù)中的冗余字段，得到多條處理后的數(shù)據(jù)。

另一方面，提供了一種冗余數(shù)據(jù)的處理裝置，所述裝置包括：

獲取模塊，用于獲取多條待處理數(shù)據(jù)，每條待處理數(shù)據(jù)的數(shù)據(jù)量大于預(yù)設(shè)閾值；

解析模塊，用于對所述多條待處理數(shù)據(jù)進(jìn)行解析，得到多個字段名稱，每個字段名稱對應(yīng)一個字段值和至少一個索引值，所述索引值用于指示字段名稱對應(yīng)的字段在待處理數(shù)據(jù)中的位置；

刪除模塊，用于根據(jù)多個字段名稱對應(yīng)的字段值和索引值，刪除所述多條待處理數(shù)據(jù)中的冗余字段，得到多條處理后的數(shù)據(jù)。

另一方面，提供了一種服務(wù)器，所述服務(wù)器包括處理器和存儲器，所述存儲器中存儲有至少一條程序代碼，所述至少一條程序代碼由所述處理器加載并執(zhí)行，以實(shí)現(xiàn)一方面所述的冗余數(shù)據(jù)的處理方法。

另一方面，提供了一種計算機(jī)可讀存儲介質(zhì)，所述存儲介質(zhì)中存儲有至少一條程序代碼，所述至少一條程序代碼由處理器加載并執(zhí)行，以實(shí)現(xiàn)一方面所述的冗余數(shù)據(jù)的處理方法。

本公開實(shí)施例提供的技術(shù)方案帶來的有益效果是：