[發明專利]數據處理方法、數據處理器及系統

有效

• 申請號: 201410797613.2
• 申請日: 2014-12-18
• 公開（公告）號: CN104462484B
• 公開（公告）日: 2018-05-22
• 發明（設計）人: 楊艷杰
• 申請（專利權）人: 北京奇虎科技有限公司;奇智軟件（北京）有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 北京智匯東方知識產權代理事務所(普通合伙) 11391
• 代理人: 康正德;孫曉芳

1.一種數據處理方法，用于對相互獨立的多個源數據庫集群中的數據進行綜合處理，所述方法包括：

分別監測所述多個源數據庫集群的寫入操作；

監測到任一源數據庫集群中存在寫入操作時，獲取該源數據庫集群本次寫入操作寫入的數據；

將獲取的數據寫入目標數據庫集群，其中，所述目標數據庫集群的存儲容量不小于所述多個源數據庫集群的存儲容量之和；以及

依據分別針對所述多個源數據庫集群中數據的操作指令對所述目標數據庫集群中的數據進行相應處理，其中，所述操作指令包括以下至少之一：數據統計指令、數據分析指令、數據計算指令、數據刪除指令；

其中，所述將獲取的數據寫入目標數據庫集群的步驟進一步包括：

刪除所述獲取的數據的身份標識信息；

將所述獲取的數據寫入所述目標數據庫集群；以及

根據所述目標數據庫集群中已存儲的數據的身份標識信息為所述獲取的數據重新分配身份標識信息。

2.根據權利要求1所述的方法，其中，所述分別監測所述多個源數據庫集群的寫入操作的步驟進一步包括：

針對每一所述源數據庫集群：

每隔預定時間獲取該源數據庫集群的oplog信息，其中，所述oplog信息為該源數據庫集群的應答日志；

比對本次獲取的oplog信息與上一次獲取的oplog信息以獲取比對結果；以及

若所述比對結果顯示兩次獲取的oplog信息不一致，則監測到該源數據庫集群存在寫入操作。

3.根據權利要求1所述的方法，其中，所述身份標識信息為數據的下劃線身份標識信息ID。

4.根據權利要求1所述的方法，進一步包括：

將獲取的數據寫入所述目標數據庫集群之后，判斷所述目標數據庫集群的本次寫入操作是否成功；以及

若否，重復執行寫入操作，直至將所述獲取的數據成功寫入所述目標數據庫集群。

5.根據權利要求1-4任一項所述的方法，其中，所述源數據庫集群和所述目標數據庫集群皆為mongodb集群。

6.一種數據處理器，用于對相互獨立的多個源數據庫集群中的數據進行綜合處理，所述數據處理器，包括：

監測模塊，適于分別監測所述多個源數據庫集群的寫入操作；

獲取模塊，適于監測到任一源數據庫集群中存在寫入操作時，獲取該源數據庫集群本次寫入操作寫入的數據；

寫入模塊，適于將獲取到的數據寫入目標數據庫集群，其中，所述目標數據庫集群的存儲容量不小于所述多個源數據庫集群的存儲容量之和；

處理模塊，適于依據分別針對所述多個源數據庫集群中數據的操作指令對所述目標數據庫集群中的數據進行相應處理，其中，所述操作指令包括以下至少之一：數據統計指令、數據分析指令、數據計算指令、數據刪除指令；

其中，所述寫入模塊還適于：

刪除所述獲取的數據的身份標識信息；

將所述獲取的數據寫入所述目標數據庫集群；以及

根據所述目標數據庫集群中已存儲的數據的身份標識信息為所述獲取的數據重新分配身份標識信息。

7.根據權利要求6所述的數據處理器，其中，所述監測模塊還適于：

針對每一所述源數據庫集群：

每隔預定時間獲取該源數據庫集群的oplog信息，其中，所述oplog信息為該源數據庫集群的應答日志；

比對本次獲取的oplog信息與上一次獲取的oplog信息以獲取比對結果；以及

若所述比對結果顯示兩次獲取的oplog信息不一致，則監測到該源數據庫集群存在寫入操作。

8.根據權利要求6所述的數據處理器，其中，還包括：

確定模塊，適于將獲取的數據寫入所述目標數據庫集群之后，判斷所述目標數據庫集群的本次寫入操作是否成功；以及

若否，則通知寫入模塊重復執行寫入操作，直至將所述獲取的數據成功寫入所述目標數據庫集群。