[發明專利]一種基于工作流的高可配分布式實時計算引擎及控制方法

在審

• 申請號: 201410090455.7
• 申請日: 2014-03-12
• 公開（公告）號: CN104915246A
• 公開（公告）日: 2015-09-16
• 發明（設計）人: 孫福林;李杰;汪月林;張偉;曹輝
• 申請（專利權）人: 浙江浙大中控信息技術有限公司
• 主分類號: G06F9/46
• 分類號: G06F9/46
• 代理公司: 杭州杭誠專利事務所有限公司 33109
• 代理人: 尉偉敏;劉正君

技術領域

本發明涉及一種信息處理技術領域，尤其是涉及一種支持高并發、實時性、高可靠性的基于工作流的高可配分布式實時計算引擎及控制方法。?

背景技術

隨著信息產業及計算機技術的發展，新興業務的規模飛速增長，如鐵道部的訂票系統、阿里淘寶的訂單系統，每天處理數以億記的請求，甚至每秒請求數都可能過百萬；又如搜索引擎，同樣需要響應大規模請求，而且每次請求都需要在TB級數據中檢索出用戶想要的結果。又如電力、交通、通訊等系統，需要高可靠性，不間斷提供服務，業務中斷將會帶來巨大的損失。

現在常見的開源Hadoop分布式中，主要面向靜態數據（如文件、數據庫），對于流式數據缺乏支持，另外各個工作環節無法完美協調工作，一般通過中間數據交互；并且Hadoop安裝部署比較復雜；開發語言為java，對實時性的支持比較差。?

發明內容

本發明主要是解決現有技術中一些數據處理系統并不能很好支持高并發、實時性、高可靠性的問題，提供了一種支持高并發、實時性、高可靠性的基于工作流的高可配分布式實時計算引擎。

本發明還提供了一種支持高并發、實時性、高可靠性的基于工作流的高可配分布式實時計算引擎控制方法。

本發明的上述技術問題主要是通過下述技術方案得以解決的：一種基于工作流的高可配分布式實時計算引擎，包括工作流管理器、工作單元監視器和若干工作單元，所述工作單元分別連接在一個通訊適配器上，且所述的工作流管理器和工作單元監視器也分別連接在通訊適配器上；

工作單元：每個工作單元包括有若干用于處理數據的工作進程，根據處理數據的形式，工作單元設置不同功能，各工作單元之間通過組合，構成處理大規模并發或實時性形式的數據處理結構；

工作單元監視器：監視各工作單元上工作進程的運行狀態，并反饋給工作流管理器；

工作流管理器：配置、起停、調度和管理工作流數據，并根據工作單元監視器反饋的信息，對工作單元上工作進程進行調度。

本發明通過工作流管理器、工作單元監視器和工作單元共同組成了一個工作流管理、運行、調度的分布式計算核心，能夠有機組織各個工作單元及工作單元上的工作流程，使得能很好地支持大規模并發和實時性數據處理，并具有高可用性。本發明中工作流為處理某種業務的完整工作流程。工作單元為處理工作流中的一個環節。通訊適配器負責在各種操作系統上本機或跨主機進程間的通訊。

作為一種優選方案，當為處理大規模并發數據結構時，工作單元包括一個輸入工作單元和若干處理數據的第一處理工作單元，每個第一處理單元包括處理特定數據的工作進程，輸入工作單元分別與各第一處理單元相連接；或者工作單元包括一個輸入工作單元和一個處理數據的第二處理工作單元，輸入工作單元與第二處理工作單元連接，處理工作單元包括多個分別處理數據的工作進程；

當為處理實時性數據結構時，工作單元包括一個用于拆分任務的拆分工作單元、一個用于合并任務的合并工作單元、若干處理任務數據的第三處理工作單元，這些第三處理工作單元并聯在拆分工作單元和差分工作單元之間。工作單元根據需求可以分成不同功能，或是包含不同的工作進程，各工作單元之間再進行串并聯組合成用于處理大規模并發或實時性形式數據的結構。第一工作單元包括處理特定數據的工作進程表示該工作單元只能處理一種數據，多個第一工作單元分別處理不同數據，分工進行處理，輸入工作單元在分配數據時，將各數據進行分類，分別分配給對應的第一處理工作單元。第二處理工作單元包括多個分別處理數據的工作進程，這些工作進程每個都可以對數據進行處理，而第二處理工作單元將數據隨機分配給各個工作進程。第三處理工作單元包括多個處理數據的工作進程，這些工作進程每個都可以對數據進行處理，第三處理工作單元將數據平均分配給各個工作進程。

作為一種優選方案，還包括有操作系統適配器和實時庫適配器，操作系統適配器和實時庫適配器分別連接在通訊適配器。操作系統適配器用于與不同操作系統接口連接，實時庫適配器用于和實時庫連接，進行存取訪問。

一種基于工作流的高可配分布式實時控制方法，包括大規模并發和實時性處理步驟；

大規模并發處理步驟包括靜態處理步驟和動態處理步驟，

靜態處理步驟：工作流管理器將數據分配給輸入工作單元，輸入工作單元對數據進行分類，然后將每類數據分配給對應處理該類數據的第一處理工作單元；

動態處理步驟：工作管理器將數據分配給輸入工作單元，輸入工作單元將數據發送給一個第二處理工作單元，處理工作單元將任務隨機分配給若干工作進程進行處理；