[發(fā)明專利]一種處理數據的方法及服務器

在審

• 申請?zhí)枺?/td>: 201710750233.7
• 申請日: 2017-08-28
• 公開（公告）號: CN107656966A
• 公開（公告）日: 2018-02-02
• 發(fā)明（設計）人: 陳智偉
• 申請（專利權）人: 深圳市誠壹科技有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 深圳中一專利商標事務所44237
• 代理人: 官建紅

技術領域

本發(fā)明涉及電子技術領域，尤其涉及一種處理數據的方法及服務器。

背景技術

隨著信息時代的發(fā)展，企業(yè)研發(fā)的各種虛擬產品(如應用程序、網站等)在使用過程中都會產生大量數據，這些數據通常都需要發(fā)送至相應的服務器，以便服務器對這些數據進行分析或存儲。而服務器在對其接收到的數據進行分析或存儲時，首先需要對其接收到的數據進行去重處理。

現有技術中，服務器對數據進行去重處理的方式通常為：收集當天接收到的所有數據，并通過數據倉庫工具(例如Hive)對當天接收到的所有數據進行去重處理。然而，由于服務器每天接收到的數據量較為龐大，且不同數據的數據結構不同，因此對數據進行去重處理需要花費大量時間，從而會對后續(xù)的數據分析造成較大的延時。

發(fā)明內容

本發(fā)明實施例提供一種處理數據的方法及服務器，能夠快速對數據進行去重處理，節(jié)省數據去重處理的時間，提高數據去重處理的效率。

第一方面，本發(fā)明實施例提供了一種處理數據的方法，該方法包括：

獲取待去重的第一目標數據；

根據預設的身份標識計算策略計算所述第一目標數據對應的唯一身份標識；

根據所述第一目標數據對應的唯一身份標識以及預設數據庫中存儲的唯一身份標識對所述第一目標數據進行去重處理，得到有效數據；其中，所述預設數據庫中存儲的唯一身份標識互不重復；

將所述有效數據對應的唯一身份標識存儲在所述預設數據庫中。

第二方面，本發(fā)明實施例提供了一種服務器，該服務器包括：

獲取單元，用于獲取待去重的第一目標數據；

計算單元，用于根據預設的身份標識計算策略計算所述第一目標數據對應的唯一身份標識；

去重單元，用于根據所述第一目標數據對應的唯一身份標識以及預設數據庫中存儲的唯一身份標識對所述第一目標數據進行去重處理，得到有效數據；其中，所述預設數據庫中存儲的唯一身份標識互不重復；

第一存儲單元，用于將所述有效數據對應的唯一身份標識存儲在所述預設數據庫中。

第三方面，本發(fā)明實施例提供了另一種服務器，包括處理器、輸入設備、輸出設備和存儲器，所述處理器、輸入設備、輸出設備和存儲器相互連接，其中，所述存儲器用于存儲支持服務器執(zhí)行上述方法的計算機程序，所述計算機程序包括程序指令，所述處理器被配置用于調用所述程序指令，執(zhí)行上述第一方面的方法。

第四方面，本發(fā)明實施例提供了一種計算機可讀存儲介質，所述計算機存儲介質存儲有計算機程序，所述計算機程序包括程序指令，所述程序指令當被處理器執(zhí)行時使所述處理器執(zhí)行上述第一方面的方法。

本發(fā)明實施例通過計算待去重的第一目標數據對應的唯一身份標識，并根據第一目標數據對應的唯一身份標識以及預設數據庫中存儲的唯一身份標識對第一目標數據進行去重處理，得到有效數據，且將有效數據對應的唯一身份標識存儲在預設數據庫中。由于根據預設的身份標識計算策略計算得到的數據的唯一身份標識為統(tǒng)一格式，因此，通過唯一身份標識來檢測第一目標數據是否為重復數據，并對第一目標數據中的重復數據進行去重處理，能夠節(jié)省數據去重處理的時間，提高數據去重處理的效率。

附圖說明

為了更清楚地說明本發(fā)明實施例技術方案，下面將對實施例描述中所需要使用的附圖作簡單地介紹，顯而易見地，下面描述中的附圖是本發(fā)明的一些實施例，對于本領域普通技術人員來講，在不付出創(chuàng)造性勞動的前提下，還可以根據這些附圖獲得其他的附圖。

圖1是本發(fā)明實施例提供的一種處理數據的方法的示意流程圖；

圖2是本發(fā)明另一實施例提供的一種處理數據的方法的示意流程圖；

圖3是本發(fā)明實施例提供的一種服務器的示意性框圖；

圖4是本發(fā)明另一實施例提供的一種服務器的示意性框圖；

圖5是本發(fā)明再一實施例提供的一種服務器的示意性框圖。

具體實施方式

下面將結合本發(fā)明實施例中的附圖，對本發(fā)明實施例中的技術方案進行清楚、完整地描述，顯然，所描述的實施例是本發(fā)明一部分實施例，而不是全部的實施例。基于本發(fā)明中的實施例，本領域普通技術人員在沒有做出創(chuàng)造性勞動前提下所獲得的所有其他實施例，都屬于本發(fā)明保護的范圍。

應當理解，當在本說明書和所附權利要求書中使用時，術語“包括”和“包含”指示所描述特征、整體、步驟、操作、元素和/或組件的存在，但并不排除一個或多個其它特征、整體、步驟、操作、元素、組件和/或其集合的存在或添加。