[發明專利]日志數據的去重方法及裝置

有效

• 申請號: 201310575306.5
• 申請日: 2013-11-15
• 公開（公告）號: CN103593442B
• 公開（公告）日: 2017-08-01
• 發明（設計）人: 吳充;郭濤
• 申請（專利權）人: 北京國雙科技有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 北京康信知識產權代理有限責任公司11240
• 代理人: 吳貴明,張永明

1.一種日志數據的去重方法，其特征在于，包括：

獲取日志文件的對象元素；

根據所述對象元素的快照ID將所述對象元素保存入數據集合；

在將所述日志文件讀取完畢之后，將所述數據集合中的數據插入到第一臨時表；

對所述第一臨時表中的數據進行去重處理得到第二臨時表；

將所述第二臨時表中的數據插入到數據庫的正式表中,

其中，對所述第一臨時表中的數據進行去重處理得到第二臨時表包括：獲取所述快照ID在所述第一臨時表中的最大發送序號；在所述第一臨時表中查詢所有比所述最大發送序號小的元素發送序號生成第一序號集合；獲取與所述第一序號集合中的所述元素發送序號對應的所述對象元素，得到對象元素集合；從所述第一臨時表中刪除所述對象元素集合中的所述對象元素得到所述第二臨時表。

2.根據權利要求1所述的去重方法，其特征在于，獲取日志文件的對象元素的步驟包括：

從所述日志文件中逐行讀取第一日志數據；

對所述第一日志數據進行過濾處理得到第二日志數據；

將所述第二日志數據反序列化得到所述對象元素。

3.根據權利要求1所述的去重方法，其特征在于，根據所述對象元素的快照ID將所述對象元素保存入數據集合的步驟包括：

在所述數據集合中查找是否存在所述快照ID；

在所述數據集合中不存在所述快照ID的情況下，將當前的所述對象元素按照鍵值對的形式保存入所述數據集合；

在所述數據集合中存在所述快照ID的情況下，比較所述對象元素的元素發送序號與所述數據集合的集合發送序號的大??；

在所述元素發送序號大于所述集合發送序號的情況下，獲取所述數據集合中該快照ID對應的第一數據，將所述第一數據替換為所述對象元素；

在所述元素發送序號不大于所述集合發送序號的情況下，返回執行獲取日志文件的對象元素的步驟，直至將所述日志文件讀取完。

4.根據權利要求3所述的去重方法，其特征在于，在將所述日志文件讀取完畢之后，將所述數據集合中的數據插入到第一臨時表的步驟包括：

判斷所述數據集合中的數據條數是否大于零；

在所述數據條數大于零的情況下，將所述數據集合中的數據插入到所述第一臨時表中。

5.一種日志數據的去重裝置，其特征在于，包括：

元素獲取模塊，用于獲取日志文件的對象元素；

元素保存模塊，用于保存根據所述對象元素的快照ID將所述對象元素保存入數據集合；

第一插入模塊，用于在將所述日志文件讀取完畢之后，將所述數據集合中的數據插入到第一臨時表；

去重模塊，用于對所述第一臨時表中的數據進行去重處理得到第二臨時表；

第二插入模塊，用于將所述第二臨時表中的數據插入到數據庫的正式表中，

其中，所述去重模塊包括：序號獲取模塊，用于獲取所述快照ID在所述第一臨時表中的最大發送序號；集合生成模塊，用于在所述第一臨時表中查詢所有比所述最大發送序號小的元素發送序號生成第一序號集合；集合獲取模塊，用于獲取與所述第一序號集合中的所述元素發送序號對應的所述對象元素，得到對象元素集合；刪除模塊，用于從所述第一臨時表中刪除所述對象元素集合中的所述對象元素得到所述第二臨時表。

6.根據權利要求5所述的去重裝置，其特征在于，所述元素獲取模塊包括：

讀取模塊，用于從所述日志文件中逐行讀取第一日志數據；

過濾模塊，用于對所述第一日志數據進行過濾處理得到第二日志數據；

反序列化模塊，用于將所述第二日志數據反序列化得到所述對象元素。