[發明專利]一種基于塊任務的多機多進程的同步數據管理系統及方法

在審

• 申請號: 202110928101.5
• 申請日: 2021-08-13
• 公開（公告）號: CN113672399A
• 公開（公告）日: 2021-11-19
• 發明（設計）人: 劉慶;王洋;王偉;冀曉鐳
• 申請（專利權）人: 中建材信息技術股份有限公司;中建材信云智聯科技有限公司
• 主分類號: G06F9/52
• 分類號: G06F9/52;G06F9/48;G06F16/27
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.一種基于塊任務的多機多進程的同步數據管理系統，其特征在于：包括

技術支持單元（100）、多進程同步單元（200）、數據同步單元（300）和數據管理單元（400）；所述技術支持單元（100）、所述多進程同步單元（200）、所述數據同步單元（300）與所述數據管理單元（400）依次通過網絡通信連接；所述技術支持單元（100）用于載入多種智能技術來支撐系統的連接與運行；所述多進程同步單元（200）用于對多處理機及單一處理機內并發的多個進程進行同步管理；所述數據同步單元（300）用于選調合適的軟件或方法實現系統內的數據同步；所述數據管理單元（400）用于對同步集合后的數據進行處理、應用等管理；

所述技術支持單元（100）包括區塊連接模塊（101）、同步軟件模塊（102）、大數據庫模塊（103）和進程間通信模塊（104）；

所述多進程同步單元（200）包括硬件同步模塊（201）、信號量模塊（202）、管程機制模塊（203）和Petri網模塊（204）；

所述數據同步單元（300）包括發布訂閱模塊（301）、SQL-JOB模塊（302）、消息隊列模塊（303）和選擇調用模塊（304）；

所述數據管理單元（400）包括查重清洗模塊（401）、歸納分類模塊（402）、安全存儲模塊（403）和調度應用模塊（404）；

該基于塊任務的多機多進程的同步數據管理系統中，先搭建以區塊鏈、大數據等技術支撐的基礎網絡架構，在此基礎上構建載入數據同步軟件、引入進程間通信功能及進程同步解決方法，實現單機內部的進程間通信、進程同步，實現多機多進程間的同步，進而在多進程同步的基礎上，選調相關方法進行海量的數據同步，然后對海量的數據進行查重、清洗、分類、存儲及安全管理，最后引入用戶管理機制，以供用戶對數據進行調度、應用操作。

2.根據權利要求1所述的基于塊任務的多機多進程的同步數據管理系統，其特征在于：所述區塊連接模塊（101）、所述同步軟件模塊（102）、所述大數據庫模塊（103）與所述進程間通信模塊（104）依次通過網絡通信連接；所述區塊連接模塊（101）用于以區塊鏈為基礎將系統內的多個處理機作為節點進行回環連接；所述同步軟件模塊（102）用于在各處理機內裝載多種數據同步軟件以便快速實現機內的數據同步；所述大數據庫模塊（103）用于通過大數據庫技術及大數據處理技術對海量同步的數據進行管理分配；所述進程間通信模塊（104）用于針對單一處理機內并發的多進程提供并管理不同的進程間通信管道并進行分配調度，具體為以內存為媒介在內核中開辟一塊緩沖區來實現進程間數據交換的通信。

3.根據權利要求2所述的基于塊任務的多機多進程的同步數據管理系統，其特征在于：所述進程間通信模塊（104）包括匿名管道模塊（1041）、命名管道模塊（1042）和輪詢調度模塊（1043）；所述匿名管道模塊（1041）與所述命名管道模塊（1042）并列運行，所述匿名管道模塊（1041）、所述命名管道模塊（1042）的信號輸出端與所述輪詢調度模塊（1043）的信號輸入端連接；所述匿名管道模塊（1041）用于通過調用pipe函數在具有血緣關系的進程間創建匿名管道以提供單向通信；所述命名管道模塊（1042）用于通過調用mknod或mkfifo命令在任意兩個進程間創建系統可見的命名管道以實現兩個進程間的通信；所述輪詢調度模塊（1043）用于通過輪詢方式來進行管道的調度以實現管道調度的負載均衡。

4.根據權利要求3所述的基于塊任務的多機多進程的同步數據管理系統，其特征在于：所述輪詢調度模塊（1043）中，調度算法的類型包括輪詢調度算法及在此基礎上改進的權重輪詢調度算法，其中：輪詢調度算法適用于服務器組中的所有服務器都有相同的軟硬件配置并且平均服務請求相對均衡的情況，權重輪詢調度算法適用于服務器組中各臺服務器的配置、安裝的業務應用、處理能力不一樣的情況；則權重輪詢調度算法中，權重分配的計算表達式為：

式中，為服務器使用負載。