[發明專利]一種海量數據處理方法、裝置及系統

無效

• 申請號: 201210346799.0
• 申請日: 2012-09-18
• 公開（公告）號: CN102902746A
• 公開（公告）日: 2013-01-30
• 發明（設計）人: 李晨;馬向暉
• 申請（專利權）人: 杭州勒卡斯廣告策劃有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30;H04L29/08
• 代理公司: 北京集佳知識產權代理有限公司 11227
• 代理人: 王寶筠

1.一種海量數據處理方法，其特征在于，應用于預設的分布式數據副本集群中存儲有海量數據的數據節點；

其中，所述數據副本集群包括至少一個所述數據節點，所述每一數據節點至少與一個不同于本數據節點的另一數據節點相連，且所述數據節點在其預設時間間隔點獲取本數據節點中不同于所述另一數據節點的數據，并將所述獲取的數據寫入至所述另一數據節點中，觸發所述另一數據節點更新其數據版本；

所述方法包括：

依據預設規則在所述數據副本集群中被選取的當前數據節點接收待更新數據，并將所述待更新數據寫入至本數據節點；

其中，所述待更新數據在所述數據副本集群接收到的更新請求信息中提取；

并更新所述當前數據節點的數據版本；

若當前系統時間到達所述預設時間間隔點，所述當前數據節點獲取本數據節點中不同于所述另一數據節點的數據，并將所述獲取的數據寫入至所述另一數據節點中，觸發所述另一數據節點更新其數據版本。

2.根據權利要求1所述的方法，其特征在于，所述數據節點的數據版本包括被寫入數據的標識信息；

所述更新所述當前數據節點的數據版本包括：

將所述待更新數據的標識信息添加至所述當前數據節點的數據版本中。

3.根據權利要求1所述的方法，其特征在于，所述依據預設規則在所述數據副本集群中選取當前數據節點包括：

任意選取所述數據副本集群中的一個數據節點作為當前數據節點；

或選取所述數據副本集群中數據版本最大的數據節點作為當前數據節點。

4.根據權利要求2所述的方法，其特征在于，所述當前數據節點獲取本數據節點中不同于所述另一數據節點的數據，并將所述獲取的數據寫入至所述另一數據節點中，觸發所述另一數據節點更新其數據版本包括：

所述當前數據節點依據其數據版本生成同步請求信息，并將所述同步請求信息發送至所述另一數據節點；

其中，所述同步請求信息包括所述當前數據節點的數據版本；

所述另一數據節點依據其數據版本及所述當前數據節點的數據版本生成同步回復信息，并將所述同步回復信息發送至所述當前數據節點；

其中，所述同步回復信息包括所述當前數據節點中不同于所述另一數據節點的數據的標識信息；

所述當前數據節點提取與所述同步回復信息中的標識信息相對應的數據，并將所述提取的數據寫入至所述另一數據節點，觸發所述另一數據節點更新其數據版本。

5.一種海量數據處理裝置，其特征在于，應用于預設的分布式數據副本集群中存儲有海量數據的數據節點；

其中，所述數據副本集群至少包括一個所述數據節點，所述每一數據節點至少與一個不同于本數據節點的另一數據節點相連；

所述裝置包括計時單元、第一寫入單元、第二寫入單元和版本更新單元，其中：

所述計時單元，用于實時判斷當前系統時間是否到達本數據節點的預設時間間隔點，如果是，觸發本數據節點的所述第一寫入單元；

所述第一寫入單元，用于在所述當前系統時間到達所述時間間隔點時獲取本數據節點中不同于與其相連的另一數據節點的數據，將所述獲取的數據寫入至所述另一數據節點，并觸發所述另一數據節點的版本更新單元；

所述第二寫入單元，在所述數據副本集群接收到更新請求信息，本數據節點被選取為當前數據節點時被觸發，用于接收待更新數據，并將所述待更新數據寫入至本數據節點，觸發所述版本更新單元；

其中，所述待更新數據在所述數據副本集群接收到的更新請求信息中提取；

所述版本更新單元，用于更新本數據節點的數據版本。

6.根據權利要求5所述的裝置，其特征在于，所述數據節點的數據版本包括被寫入數據的標識信息；

所述版本更新單元，具體用于將所述本數據節點中被寫入數據的標識信息添加至本數據節點的數據版本中。