[發明專利]主從同步方法及裝置

有效

• 申請號: 201711480978.2
• 申請日: 2017-12-29
• 公開（公告）號: CN108183957B
• 公開（公告）日: 2020-12-18
• 發明（設計）人: 宋昭
• 申請（專利權）人: 北京奇虎科技有限公司
• 主分類號: H04L29/08
• 分類號: H04L29/08
• 代理公司: 深圳市世紀恒程知識產權代理事務所 44287
• 代理人: 胡海國

1.一種主從同步方法，包括：

從節點的第一線程接收主節點發送的數據同步命令，并根據所述數據同步命令的順序依次記錄日志文件，其中，所述數據同步命令包括：該數據同步命令在所述日志文件中的偏移量；

所述第一線程將所述數據同步命令分發至所述從節點的多個第二線程，由所述多個第二線程并行地執行；

若所述第二線程成功執行所述數據同步命令，則向所述從節點的第三線程發送確認信息；

所述第三線程根據所述確認信息更新所述日志文件中的偏移量，其中，所述第三線程根據所述確認信息更新所述日志文件中的偏移量，包括：

所述第三線程接收所述第二線程發送的確認信息，記錄成功執行的所述數據同步命令在所述日志文件中的偏移量；

對成功執行的所述數據同步命令在所述日志文件中的偏移量進行排序，若存在連續的偏移量，且所述連續的偏移量與所述日志文件當前的全局偏移量也是連續的，則依據所述日志文件當前的全局偏移量和所述連續的偏移量對所述日志文件的全局偏移量進行更新。

2.根據權利要求1所述的方法，其中，所述第一線程將所述數據同步命令分發至多個第二線程，由所述多個第二線程并行地執行，包括：

在數據單元和所述第二線程之間建立對應關系，所述第一線程將同一數據單元的數據同步命令分發至同一第二線程執行。

3.根據權利要求1所述的方法，其中，所述數據同步命令還包括：所述日志文件的長度。

4.根據權利要求1-3中任一項所述的方法，其中，所述第三線程根據所述確認信息更新所述日志文件中的偏移量，還包括：

對成功執行的所述數據同步命令在所述日志文件中的偏移量進行排序，若存在空洞，則確定所述空洞對應的數據同步命令對應的數據單元；

若所述第三線程后續接收到所述第二線程發送的對應于該數據單元的確認信息，則跳過所述空洞，更新所述日志文件的全局偏移量。

5.根據權利要求4所述的方法，其中，還包括：

若所述空洞的數量達到第一閾值，則向所述第一線程發送消息，由所述第一線程斷開與主節點的同步進程，并發出報警信息。

6.根據權利要求4所述的方法，其中，還包括：

若所述空洞之后連續的偏移量的數量達到第二閾值，則跳過所述空洞，更新所述日志文件的全局偏移量；或

若所述空洞之后連續的偏移量的數量達到所述第二閾值，則向所述第一線程發送消息，由所述第一線程斷開與主節點的同步過程，并發出報警信息。

7.根據權利要求3所述的方法，其中，還包括：

若數據同步過程中所述從節點進行重啟，則所述第一線程根據重啟前所述日志文件的長度和全局偏移量確定出未被確認成功執行的數據同步命令；

將所述未被確認成功執行的數據同步命令重新依次分發至所述多個第二線程并行地執行。

8.根據權利要求7所述的方法，其中，所述若數據同步過程中所述從節點進行重啟，則根據重啟前所述日志文件的長度和全局偏移量確定出未被確認成功執行的數據同步命令之后，還包括：

將所述未被確認成功執行的數據同步命令根據數據單元進行分組，篩選出每組數據同步命令中最后一條數據同步命令，分發至所述第二線程，由所述第二線程并行地執行。

9.根據權利要求1-3中任一項所述的方法，其中，所述第一線程將所述數據同步命令分發至所述從節點的多個第二線程，由所述多個第二線程并行地執行，還包括：

若所述第二線程未能成功執行所述第一線程分配的數據同步命令，則將該數據同步命令發送至所述從節點的第四線程，由所述第四線程重新執行。