[發(fā)明專利]數(shù)據(jù)處理方法、數(shù)據(jù)處理器及系統(tǒng)

有效

• 申請?zhí)枺?/td>: 201410797613.2
• 申請日: 2014-12-18
• 公開（公告）號: CN104462484B
• 公開（公告）日: 2018-05-22
• 發(fā)明（設(shè)計(jì)）人: 楊艷杰
• 申請（專利權(quán)）人: 北京奇虎科技有限公司;奇智軟件（北京）有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 北京智匯東方知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11391
• 代理人: 康正德;孫曉芳

1.一種數(shù)據(jù)處理方法，用于對相互獨(dú)立的多個源數(shù)據(jù)庫集群中的數(shù)據(jù)進(jìn)行綜合處理，所述方法包括：

分別監(jiān)測所述多個源數(shù)據(jù)庫集群的寫入操作；

監(jiān)測到任一源數(shù)據(jù)庫集群中存在寫入操作時，獲取該源數(shù)據(jù)庫集群本次寫入操作寫入的數(shù)據(jù)；

將獲取的數(shù)據(jù)寫入目標(biāo)數(shù)據(jù)庫集群，其中，所述目標(biāo)數(shù)據(jù)庫集群的存儲容量不小于所述多個源數(shù)據(jù)庫集群的存儲容量之和；以及

依據(jù)分別針對所述多個源數(shù)據(jù)庫集群中數(shù)據(jù)的操作指令對所述目標(biāo)數(shù)據(jù)庫集群中的數(shù)據(jù)進(jìn)行相應(yīng)處理，其中，所述操作指令包括以下至少之一：數(shù)據(jù)統(tǒng)計(jì)指令、數(shù)據(jù)分析指令、數(shù)據(jù)計(jì)算指令、數(shù)據(jù)刪除指令；

其中，所述將獲取的數(shù)據(jù)寫入目標(biāo)數(shù)據(jù)庫集群的步驟進(jìn)一步包括：

刪除所述獲取的數(shù)據(jù)的身份標(biāo)識信息；

將所述獲取的數(shù)據(jù)寫入所述目標(biāo)數(shù)據(jù)庫集群；以及

根據(jù)所述目標(biāo)數(shù)據(jù)庫集群中已存儲的數(shù)據(jù)的身份標(biāo)識信息為所述獲取的數(shù)據(jù)重新分配身份標(biāo)識信息。

2.根據(jù)權(quán)利要求1所述的方法，其中，所述分別監(jiān)測所述多個源數(shù)據(jù)庫集群的寫入操作的步驟進(jìn)一步包括：

針對每一所述源數(shù)據(jù)庫集群：

每隔預(yù)定時間獲取該源數(shù)據(jù)庫集群的oplog信息，其中，所述oplog信息為該源數(shù)據(jù)庫集群的應(yīng)答日志；

比對本次獲取的oplog信息與上一次獲取的oplog信息以獲取比對結(jié)果；以及

若所述比對結(jié)果顯示兩次獲取的oplog信息不一致，則監(jiān)測到該源數(shù)據(jù)庫集群存在寫入操作。

3.根據(jù)權(quán)利要求1所述的方法，其中，所述身份標(biāo)識信息為數(shù)據(jù)的下劃線身份標(biāo)識信息ID。

4.根據(jù)權(quán)利要求1所述的方法，進(jìn)一步包括：

將獲取的數(shù)據(jù)寫入所述目標(biāo)數(shù)據(jù)庫集群之后，判斷所述目標(biāo)數(shù)據(jù)庫集群的本次寫入操作是否成功；以及

若否，重復(fù)執(zhí)行寫入操作，直至將所述獲取的數(shù)據(jù)成功寫入所述目標(biāo)數(shù)據(jù)庫集群。

5.根據(jù)權(quán)利要求1-4任一項(xiàng)所述的方法，其中，所述源數(shù)據(jù)庫集群和所述目標(biāo)數(shù)據(jù)庫集群皆為mongodb集群。

6.一種數(shù)據(jù)處理器，用于對相互獨(dú)立的多個源數(shù)據(jù)庫集群中的數(shù)據(jù)進(jìn)行綜合處理，所述數(shù)據(jù)處理器，包括：

監(jiān)測模塊，適于分別監(jiān)測所述多個源數(shù)據(jù)庫集群的寫入操作；

獲取模塊，適于監(jiān)測到任一源數(shù)據(jù)庫集群中存在寫入操作時，獲取該源數(shù)據(jù)庫集群本次寫入操作寫入的數(shù)據(jù)；

寫入模塊，適于將獲取到的數(shù)據(jù)寫入目標(biāo)數(shù)據(jù)庫集群，其中，所述目標(biāo)數(shù)據(jù)庫集群的存儲容量不小于所述多個源數(shù)據(jù)庫集群的存儲容量之和；

處理模塊，適于依據(jù)分別針對所述多個源數(shù)據(jù)庫集群中數(shù)據(jù)的操作指令對所述目標(biāo)數(shù)據(jù)庫集群中的數(shù)據(jù)進(jìn)行相應(yīng)處理，其中，所述操作指令包括以下至少之一：數(shù)據(jù)統(tǒng)計(jì)指令、數(shù)據(jù)分析指令、數(shù)據(jù)計(jì)算指令、數(shù)據(jù)刪除指令；

其中，所述寫入模塊還適于：

刪除所述獲取的數(shù)據(jù)的身份標(biāo)識信息；

將所述獲取的數(shù)據(jù)寫入所述目標(biāo)數(shù)據(jù)庫集群；以及

根據(jù)所述目標(biāo)數(shù)據(jù)庫集群中已存儲的數(shù)據(jù)的身份標(biāo)識信息為所述獲取的數(shù)據(jù)重新分配身份標(biāo)識信息。

7.根據(jù)權(quán)利要求6所述的數(shù)據(jù)處理器，其中，所述監(jiān)測模塊還適于：

針對每一所述源數(shù)據(jù)庫集群：

每隔預(yù)定時間獲取該源數(shù)據(jù)庫集群的oplog信息，其中，所述oplog信息為該源數(shù)據(jù)庫集群的應(yīng)答日志；

比對本次獲取的oplog信息與上一次獲取的oplog信息以獲取比對結(jié)果；以及

若所述比對結(jié)果顯示兩次獲取的oplog信息不一致，則監(jiān)測到該源數(shù)據(jù)庫集群存在寫入操作。

8.根據(jù)權(quán)利要求6所述的數(shù)據(jù)處理器，其中，還包括：

確定模塊，適于將獲取的數(shù)據(jù)寫入所述目標(biāo)數(shù)據(jù)庫集群之后，判斷所述目標(biāo)數(shù)據(jù)庫集群的本次寫入操作是否成功；以及

若否，則通知寫入模塊重復(fù)執(zhí)行寫入操作，直至將所述獲取的數(shù)據(jù)成功寫入所述目標(biāo)數(shù)據(jù)庫集群。