[發明專利]數據處理方法、裝置和系統

有效

• 申請號: 201611147953.6
• 申請日: 2016-12-13
• 公開（公告）號: CN108616556B
• 公開（公告）日: 2021-01-19
• 發明（設計）人: 孟慶義
• 申請（專利權）人: 阿里巴巴集團控股有限公司
• 主分類號: H04L29/08
• 分類號: H04L29/08;H04L12/24;G06F16/18;G06F16/182
• 代理公司: 北京市惠誠律師事務所 11353
• 代理人: 逯博

本發明實施例提供了數據處理方法、裝置和系統，通過分布式在線存儲系統中的各個存儲節點根據待導出日志數據的數據量，將待導出日志數據拆分為至少兩個數據包，從而向至少兩個采集節點分別進行發送，從而在日志生成速度較高時，能夠及時導出分布式在線存儲系統中各存儲節點的日志數據；同時，采集節點分別從分布式在線存儲系統的至少兩個存儲節點接收日志數據，并當分布式在線存儲系統中待導出日志數據的最小時間戳大于所接收到的日志數據的時間戳時，將所接收到的日志數據寫入到離線系統，從而在日志生成速度低于導出速度時，避免了采集節點資源的浪費，解決了現有技術中的導出系統的導出速度與分布式在線存儲系統的對導出速度的需求不匹配的技術問題。

技術領域

本發明涉及信息技術，尤其涉及一種數據處理方法、裝置和系統。

背景技術

在分布式在線數據存儲系統中的每一個存儲節點維護一組日志文件，在組內日志是按照時間戳所指示的生成時間進行排序的，每一個日志中包括有數據操作情況的記錄。

由于在分布式在線數據存儲系統中所存儲的數據為在線數據，為了進行周期型離線計算，需要將這些在線數據按照時間戳單調遞增的順序導出到離線系統中。在現有技術中，日志導出系統中的一個采集節點將對應的一個存儲節點中的日志，按照日志的生成順序進行采集，并寫入到離線系統。

但由于分布式在線數據存儲系統中各存儲節點的日志僅能夠由日志導出系統中對應的一個采集節點進行采集，當存儲節點日志生成速度高于導出速度時導致不能及時導出，而當存儲節點日志生成速度低于導出速度時導致采集節點資源的浪費。因此，現有的日志導出方式不夠靈活，容易導致導出系統的導出速度與分布式在線存儲系統的對導出速度的需求不匹配。

發明內容

本發明提供一種數據處理方法、裝置和系統，用于解決現有技術中的日志導出系統的導出速度與分布式在線存儲系統的對導出速度的需求不匹配的技術問題。

為達到上述目的，本發明的實施例采用如下技術方案：

第一方面，提供了一種數據處理方法，包括：

分布式在線存儲系統中的存儲節點根據待導出的目標日志數據的數據量，將所述目標日志數據拆分為至少兩個數據包；

所述存儲節點將所述至少兩個數據包，分別發送至日志導出系統中的各采集節點；

接收到所述數據包的采集節點，根據所接收到的數據包中目標日志數據的時間戳，將所述目標日志數據寫入臨時表中對應的目標時間分區；

當所述分布式在線存儲系統各存儲節點的待導出日志數據最小時間戳大于所述目標時間分區的時間上限時，所述日志導出系統中的分區管理節點將所述目標時間分區內的日志數據轉存至離線存儲系統。

第二方面，提供了一種分布式在線存儲系統，包括：多個存儲節點；

所述存儲節點，用于根據待導出的目標日志數據的數據量，將所述目標日志數據拆分為至少兩個數據包；將所述至少兩個數據包，分別發送至日志導出系統中的各采集節點。

第三方面，提供了一種日志導出系統，包括：分區管理節點和多個采集節點；

所述采集節點，用于接收分布式在線存儲系統中各存儲節點所發送的數據包，根據所接收到的數據包中目標日志數據的時間戳，將所述目標日志數據寫入臨時表中對應的目標時間分區；

所述分區管理節點，用于當所述分布式在線存儲系統各存儲節點的待導出日志數據最小時間戳大于所述目標時間分區的時間上限時，將所述目標時間分區內的日志數據轉存至離線存儲系統。

第四方面，提供了一種數據處理方法，包括：

根據待導出日志數據的數據量，將所述待導出日志數據拆分為至少兩個部分；