[發明專利]一種數據處理系統

在審

• 申請號: 202010061646.6
• 申請日: 2020-01-18
• 公開（公告）號: CN111291048A
• 公開（公告）日: 2020-06-16
• 發明（設計）人: 吳曉軍;陳寧;張彥普;王敬軒
• 申請（專利權）人: 河北冀聯人力資源服務集團有限公司
• 主分類號: G06F16/22
• 分類號: G06F16/22;G06F16/951;G06F21/62;G06F9/48;G06F9/50
• 代理公司: 北京艾皮專利代理有限公司 11777
• 代理人: 李德勝

1.一種數據處理系統，其特征在于：所述系統包括智能合約體模塊以及至少一個云計算大數據平臺；所述智能合約體模塊用于評估計算量、評估云平臺功勞聲譽度、分配計算工作、提供數據輸入輸出服務；所述云計算大數據平臺包括大數據容器、計算矩陣模塊、安全通信模塊、虛擬技術池模塊以及資源管理模塊；所述智能合約體模塊包括內外信息傳遞智能合約體、中央處理智能合約體、計算量預估智能合約體、預估提取模塊、功勞聲譽選擇智能合約體、數據存儲智能合約體以及比對模塊；內外信息傳遞智能合約體負責信息輸入輸出交互，中央處理智能合約體負責調度智能合約體與智能合約體之間通信，計算量預估智能合約體負責估算計算任務工作量，功勞聲譽選擇智能合約體通過查詢云平臺功勞聲譽數據庫，選擇累計功勞聲譽最低并且負載較低的云平臺為本次計算任務平臺，數據存儲智能合約體負責將工作量維護到數據庫中；所述預估提取模塊提取計算量預估智能合約體的預估量，將所述預估量發送至比對模塊，所述比對模塊對比數據存儲智能合約體模塊的數據和預估量的差值，將所述差值反饋回所述預估提取模塊，所述預估提取模塊根據所述差值信息調整所述計算量預估智能合約體的算法。所述大數據容器模塊，提供大數據的存儲、分析、挖掘服務；所述計算矩陣模塊，將系統所需的算法封裝成矩陣，并建立矩陣索引，用于提供算法服務；所述安全通信模塊用于平臺內各模塊通信；所述虛擬技術池用于封裝平臺內虛擬技術；所述資源管理模塊用于資源動態管理。

2.根據權利要求1所述的數據處理系統，其特征在于：所述大數據容器模塊，提供大數據的存儲、分析、挖掘服務具體包括：制定大數據集群服務框架合約，確定數據并行計算框架和計算集優先順序；配置大數據集群服務參數，啟動大數據集群服務；池化大數據集群服務列表，監控大數據服務執行情況，動態調整服務列表；解析大數據服務請求，拆分分析執行列表；根據所述分析執行列表，建立分析模型，請求計算矩陣服務；存儲傳遞分析結果；請求計算矩陣壓縮算法服務，歷史數據壓縮并建立索引。

3.根據權利要求1所述的數據處理系統，其特征在于：所述計算矩陣模塊，將系統所需的算法封裝成矩陣，并建立矩陣索引，用于提供算法服務具體包括：對業務邏輯進行建模，并封裝在矩陣中的單元格，修改矩陣索引；建立大數據分析邏輯算法，并封裝在矩陣中的單元格，修改矩陣索引；對數據壓縮算法進行建模，并封裝在矩陣中的單元格，修改矩陣索引；持續監測算法正確率、容錯率等內容，建立評測算法，并封裝在矩陣中的單元格，修改矩陣索引；配置調試功能，實現算法正確性驗證，修正和關閉算法單元。

4.根據權利要求1所述的數據處理系統，其特征在于：所述安全通信模塊用于平臺內各模塊通信具體包括：監聽服務，接收數據傳輸，分析執行指令；將指令總結到文件日志中；通過爬蟲任務遍歷大數據容器索引、計算矩陣索引，完成容器與矩陣之間通信；實現身份認證功能，對不同身份的權限進行驗證。

5.根據權利要求1所述的數據處理系統，其特征在于：所述虛擬技術池用于封裝平臺內虛擬技術具體包括：實現鏡像分層映射，實現不同分層之間的復制與交互；實現點對點通信技術實現，將每個網絡、服務、中間件建立直接連接。

6.根據權利要求1所述的數據處理系統，其特征在于：所述資源管理模塊用于資源動態管理具體包括：采用多任務處理技術，進行資源多線程管理，并解決資源死鎖現場；完成負載均衡監測，重啟故障模塊；進行任務生命周期監測，結束異常進程；建立爬蟲任務調度列表，通過給任務分配優先級，以爬蟲方式進行任務調度。