[發(fā)明專利]一種數(shù)據(jù)去重的方法和設(shè)備

在審

• 申請?zhí)枺?/td>: 201610179982.4
• 申請日: 2016-03-25
• 公開（公告）號: CN107229660A
• 公開（公告）日: 2017-10-03
• 發(fā)明（設(shè)計）人: 李翔;張新銘
• 申請（專利權(quán)）人: 阿里巴巴集團控股有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 北京匯思誠業(yè)知識產(chǎn)權(quán)代理有限公司11444
• 代理人: 王剛,龔敏

1.一種數(shù)據(jù)去重的方法，其特征在于，所述方法應(yīng)用于包括多個下游數(shù)據(jù)處理設(shè)備的系統(tǒng)中，所述方法包括：

中間設(shè)備獲取所接收到的數(shù)據(jù)中攜帶的唯一標(biāo)識；

所述中間設(shè)備根據(jù)預(yù)設(shè)的對應(yīng)關(guān)系和所述數(shù)據(jù)中的所述唯一標(biāo)識，確定所述數(shù)據(jù)將要被發(fā)送到的下游數(shù)據(jù)處理設(shè)備；

所述中間設(shè)備將所述數(shù)據(jù)發(fā)送到所述下游數(shù)據(jù)處理設(shè)備，以使所述下游數(shù)據(jù)處理設(shè)備對相同數(shù)據(jù)進行數(shù)據(jù)去重。

2.如權(quán)利要求1所述方法，其特征在于，相同來源的數(shù)據(jù)所攜帶的唯一標(biāo)識至少部分相同。

3.如權(quán)利要求1所述方法，其特征在于，所述中間設(shè)備獲取所述數(shù)據(jù)中攜帶的唯一標(biāo)識，具體包括：

所述中間設(shè)備解析所述數(shù)據(jù)；

所述中間設(shè)備判斷解析后的所述數(shù)據(jù)內(nèi)容是否為空；

如果為空，所述中間設(shè)備刪除所述數(shù)據(jù)；

如果不為空，所述中間設(shè)備獲取所述數(shù)據(jù)中攜帶的唯一標(biāo)識。

4.一種中間設(shè)備，其特征在于，所述中間設(shè)備應(yīng)用于包括多個下游數(shù)據(jù)處理設(shè)備的系統(tǒng)中，所述中間設(shè)備包括：

獲取模塊，用于獲取所接收到的數(shù)據(jù)中攜帶的唯一標(biāo)識；

確定模塊，用于根據(jù)預(yù)設(shè)的對應(yīng)關(guān)系和所述數(shù)據(jù)中的所述唯一標(biāo)識，確定所述數(shù)據(jù)將要被發(fā)送到的下游數(shù)據(jù)處理設(shè)備；

發(fā)送模塊，用于將所述數(shù)據(jù)發(fā)送到所述下游數(shù)據(jù)處理設(shè)備，以使所述下游數(shù)據(jù)處理設(shè)備對相同數(shù)據(jù)進行數(shù)據(jù)去重。

5.如權(quán)利要求4所述中間設(shè)備，其特征在于，相同來源的數(shù)據(jù)所攜帶的唯一標(biāo)識至少部分相同。

6.如權(quán)利要求4所述中間設(shè)備，其特征在于，所述獲取模塊，具體用于：

解析所述數(shù)據(jù)；

判斷解析后的所述數(shù)據(jù)內(nèi)容是否為空；

如果為空，刪除所述數(shù)據(jù)；

如果不為空，獲取所述數(shù)據(jù)中攜帶的唯一標(biāo)識。

7.一種數(shù)據(jù)去重的方法，其特征在于，所述方法應(yīng)用于包括多個下游數(shù)據(jù)處理設(shè)備的系統(tǒng)中，所述系統(tǒng)中還包括：中間設(shè)備，所述方法包括：

下游數(shù)據(jù)處理設(shè)備接收所述中間設(shè)備發(fā)送的數(shù)據(jù)，所述數(shù)據(jù)是根據(jù)預(yù)設(shè)的對應(yīng)關(guān)系和所述數(shù)據(jù)中的攜帶的唯一標(biāo)識發(fā)送的；

所述下游數(shù)據(jù)處理設(shè)備判斷是否存在與所述數(shù)據(jù)相同的數(shù)據(jù)；

如果存在，所述下游數(shù)據(jù)處理設(shè)備對所述數(shù)據(jù)進行數(shù)據(jù)去重。

8.如權(quán)利要求7所述方法，其特征在于，相同來源的數(shù)據(jù)所攜帶的唯一標(biāo)識至少部分相同。

9.如權(quán)利要求7所述方法，其特征在于，所述下游數(shù)據(jù)處理設(shè)備判斷是否存在與所述數(shù)據(jù)相同的數(shù)據(jù)，具體包括：

所述下游數(shù)據(jù)處理設(shè)備確定出與所述數(shù)據(jù)屬于同一去重周期內(nèi)獲取到的數(shù)據(jù)；

所述下游數(shù)據(jù)處理設(shè)備在確定出的與所述數(shù)據(jù)屬于同一去重周期內(nèi)獲取到的數(shù)據(jù)中判斷是否存在與所述數(shù)據(jù)的所述唯一標(biāo)識具有部分相同的數(shù)據(jù)；

所述下游數(shù)據(jù)處理設(shè)備對所述數(shù)據(jù)進行數(shù)據(jù)去重，具體包括：

所述下游數(shù)據(jù)處理設(shè)備將與所述唯一標(biāo)識具有部分相同的數(shù)據(jù)進行合并，以使所述唯一標(biāo)識具有部分相同的數(shù)據(jù)只保留一個。

10.一種下游數(shù)據(jù)處理設(shè)備，其特征在于，應(yīng)用于包括多個下游數(shù)據(jù)處理設(shè)備和中間設(shè)備的系統(tǒng)中，所述系統(tǒng)中還包括：中間設(shè)備，所述下游數(shù)據(jù)處理設(shè)備包括：

接收模塊，用于接收所述中間設(shè)備發(fā)送的數(shù)據(jù)，所述數(shù)據(jù)是根據(jù)預(yù)設(shè)的對應(yīng)關(guān)系和所述數(shù)據(jù)中的攜帶的唯一標(biāo)識發(fā)送的；

判斷模塊，用于判斷是否存在與所述數(shù)據(jù)相同的數(shù)據(jù)；

去重模塊，如果存在與所述數(shù)據(jù)相同的數(shù)據(jù)，用于對所述數(shù)據(jù)進行數(shù)據(jù)去重。

11.如權(quán)利要求10所述下游數(shù)據(jù)處理設(shè)備，其特征在于，相同來源的數(shù)據(jù)所攜帶的唯一標(biāo)識至少部分相同。

12.如權(quán)利要求10所述下游數(shù)據(jù)處理設(shè)備，其特征在于，所述判斷模塊，具體用于：

確定出與所述數(shù)據(jù)屬于同一去重周期內(nèi)獲取到的數(shù)據(jù)；

在確定出的與所述數(shù)據(jù)屬于同一去重周期內(nèi)獲取到的數(shù)據(jù)中判斷是否存在與所述數(shù)據(jù)的所述唯一標(biāo)識具有部分相同的數(shù)據(jù)；

所述去重模塊，具體用于：

將與所述唯一標(biāo)識具有部分相同的數(shù)據(jù)進行合并，以使所述唯一標(biāo)識具有部分相同的數(shù)據(jù)只保留一個。