[發明專利]批量調度系統及方法

有效

• 申請號: 201110391457.6
• 申請日: 2011-11-30
• 公開（公告）號: CN102393822A
• 公開（公告）日: 2012-03-28
• 發明（設計）人: 鄒長龍;鄒幫山;魯志彬;王凱
• 申請（專利權）人: 中國工商銀行股份有限公司
• 主分類號: G06F9/46
• 分類號: G06F9/46;G06Q40/04
• 代理公司: 中科專利商標代理有限責任公司 11021
• 代理人: 宋焰琴

技術領域

本發明涉及批量數據處理技術領域，具體涉及一種提升運算處理效率、有效利用系統資源實現批量處理的系統及方法。

背景技術

在大型的在線交易系統中，總是存在大量的批量作業。一般而言，批量作業的處理模式主要有兩種：

一是采取聯機實時處理的方式，也就是常說的聯機小批量。該種方法時效性很高，但是聯機小批量方式在以聯機方式處理批量任務時，并不判斷數據處理系統的忙閑，實時上送實時處理，由于批量任務中任務密集度高，將迅速占用大量的系統資源，給系統帶來極大的壓力，導致整個系統處理速度降低，甚至存在宕機風險；而且批量任務處理一般會集中使用某一個或某幾個用戶數據，所用用戶數據被長時間鎖住，使得客戶的在線聯機任務需要等待數據鎖定的解除，導致影響客戶聯機任務。

另外一種批量任務處理方式是采取按照場次定時處理的方式，一般安排在業務量較小的固定時段按照批量場次集中處理，如早晨、中午、晚間等。

對于該種方式，傳統上是將批量中不同數據加工、統計任務按照固定的順序依次執行，每增加一個新的處理需求，就編寫一個新的任務，加在后面，或者干脆直接修改某一任務的處理程序，增加新的處理代碼。同時，為了提高資源的使用率，對于每個任務，按照數據分區條件(如地區、國家、產品分類等)并發執行。但是固定的任務順序會因個別任務導致執行時間過長，或因為一個任務出錯影響整個批量執行；而分區劃分也比較固定，各分區執行時間長短差距較大，執行中存在等待，時間資源、系統資源得不到充分利用。針對傳統處理方式，專利號為ZL200610126976.9、發明名稱為“一種批量任務調度引擎和調度方法”提出了一種調度方法：對當前場次的批量任務進行靜態特征分析，以獲得用參數表示的各個任務的單體特征和任務之間的依賴關系；基于各個任務之間的依賴關系對任務進行分組；根據各個任務的權值，計算各組任務的組權值，其中組權值確定主調度順序；根據分區權值，確定組內各分區的調度順序的副調度順序；基于所述主調度順序和所述副調度順序，形成當前場次的批量任務的調度策略；以及利用所述調度策略，執行當前場次的批量任務的調度。通過該方法，使批量處理任務實現任務、分區兩維度并發，對固定時段的批量場次內時間資源和硬件資源集約化利用，提升了批量處理的靈活性、可維護性和容錯能力。

但是該專利的方法仍是將批量任務安排在固定時段的批量場次中執行，存在如下不足：首先是處理不及時，很難滿足時效性要求較高的業務要求。此外，隨著批量任務的迅速增加，在固定時段內已很難或無法完成當天的全部批量任務；與之相對應的，在非批量場次的時段內，系統資源有時存在空閑，并沒有得到充分利用。如果可以打破固定時段批量場次，不僅可以大幅增加批量處理時間，還可以使數據處理系統資源得到充分利用。

發明內容

為了克服現有技術的上述問題，本發明提出了一種批量調度系統和方法。

本發明的批量調度系統包括：參數設置裝置，用戶通過該裝置設置系統參數和任務處理相關參數，并將設置的參數存儲到數據存儲裝置中；預處理裝置，用于對批量任務進行預處理，并將處理后產生的任務輸出到數據存儲裝置中；調度引擎裝置，用于定時偵測系統當前并發處理任務量，計算系統可分配的處理各渠道上送批量任務的線程數，并將結果輸出給任務處理裝置；任務處理裝置，用于接收從調度引擎裝置傳輸過來的批量任務處理線程數，調整內部線程，根據任務優先次序參數，讀取經過預處理后的任務，進行任務處理；數據存儲裝置，用于接收并存儲參數設置裝置設置或計算得到的參數、各渠道上送的批量任務以及預處理裝置生成的任務和任務處理日志。

其中，上述系統還包括任務數據分析裝置，用于記錄與任務量相關的信息，計算某一時段內的渠道特征值和時點特征值，并將計算結果存儲在數據存儲裝置中。

其中，調度引擎裝置根據從數據存儲裝置中獲取系統最大并發處理任務量、當前時段的渠道特征值和時點特征值，計算可分配的處理各渠道上送批量任務的線程數。

其中，所述調度引擎裝置進一步包括：任務量偵測單元，按照預先設定的時間間隔，定時獲取所述系統當前并發處理任務量N，輸出給調度決策單元，其中N是自然數；調度決策單元，從系統參數設置單元讀取系統最大并發處理任務量M，計算M是否大于N，如果大于，則計算當前時段系統能夠分配給各渠道上傳的批量任務的處理線程數T，其中M和T為自然數。