[發明專利]數據處理方法、數據處理器及系統

有效

• 申請號: 201410797613.2
• 申請日: 2014-12-18
• 公開（公告）號: CN104462484B
• 公開（公告）日: 2018-05-22
• 發明（設計）人: 楊艷杰
• 申請（專利權）人: 北京奇虎科技有限公司;奇智軟件（北京）有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 北京智匯東方知識產權代理事務所(普通合伙) 11391
• 代理人: 康正德;孫曉芳

本發明提供了一種數據處理方法、數據處理器及系統。其中，該方法包括：分別監測多個源數據庫集群的寫入操作；監測到任一源數據庫集群中存在寫入操作時，獲取該源數據庫集群本次寫入操作寫入的數據；將獲取的數據寫入目標數據庫集群，其中，目標數據庫集群的存儲容量不小于多個源數據庫集群的存儲容量之和；以及，依據分別針對多個源數據庫集群中數據的操作指令對目標數據庫集群中的數據進行相應處理。依據本發明實施例的數據處理方法，能夠將多個源數據庫集群中的不同數據寫入同一目標數據庫集群，進而在同一目標數據庫集群中統一對數據進行相應處理。

技術領域

本發明涉及數據處理領域，特別是涉及一種數據處理方法、數據處理器及系統。

背景技術

為解決業務中大數據的存放問題，常常將同一業務的數據分配至不同的源數據庫集群進行操作處理。例如，某一業務的數據容量有10T，為配合業務的使用，將業務的數據分別放于十個不同的源數據庫集群中，每個源數據庫集群中放1T的數據。

當需要對該業務的各個數據進行交叉分析等統計操作時，需要根據統計操作抽取不同源數據庫集群中的數據逐個執行交叉分析的操作，導致操作量巨大復雜，并且數據統計的準確率降低。甚至，對于部分業務，由于數據量過大，可能無法利用逐個提取進行統計分析操作。

綜上，現有技術中，對于分散于不同源數據庫集群的數據僅能夠分散進行統計分析等處理操作，導致對于數據的處理操作的準確率降低，并且對于部分數據量較大的業務，甚至無法進行處理操作，而這些問題進一步能夠導致無法提升業務的運行效率，阻止業務進一步發展。

發明內容

鑒于上述問題，本發明的實施例提出了一種數據處理方法、數據處理器及系統，以克服上述問題或者至少部分地解決上述問題。

依據本發明的一個方面，提供了一種數據處理方法，用于對相互獨立的多個源數據庫集群中的數據進行綜合處理，所述方法包括：分別監測所述多個源數據庫集群的寫入操作；監測到任一源數據庫集群中存在寫入操作時，獲取該源數據庫集群本次寫入操作寫入的數據；將獲取的數據寫入目標數據庫集群，其中，所述目標數據庫集群的存儲容量不小于所述多個源數據庫集群的存儲容量之和；以及，依據分別針對所述多個源數據庫集群中數據的操作指令對所述目標數據庫集群中的數據進行相應處理。

可選地，所述分別監測所述多個源數據庫集群的寫入操作的步驟進一步包括：針對每一所述源數據庫集群：每隔預定時間獲取該源數據庫集群的oplog信息，所述oplog信息為該源數據庫集群的應答日志；比對本次獲取的oplog信息與上一次獲取的oplog信息以獲取比對結果；以及，若所述比對結果顯示兩次獲取的oplog信息不一致，則監測到該源數據庫集群存在寫入操作。

可選地，所述將獲取的數據寫入目標數據庫集群的步驟進一步包括：刪除所述獲取的數據的身份標識信息；將所述獲取的數據寫入所述目標數據庫集群；以及，根據所述目標數據庫集群中已存儲的數據的身份標識信息為所述獲取的數據重新分配身份標識信息。

可選地，所述身份標識信息為數據的下劃線身份標識信息ID。

可選地，所述方法進一步包括：將獲取的數據寫入所述目標數據庫集群之后，判斷所述目標數據庫集群的本次寫入操作是否成功；以及，若否，重復執行寫入操作，直至將所述獲取的數據成功寫入所述目標數據庫集群。

可選地，所述操作指令包括以下至少之一：數據統計指令、數據分析指令、數據計算指令、數據刪除指令。

可選地，所述源數據庫集群和所述目標數據庫集群皆為mongodb集群。