[發(fā)明專利]一種支持多主機分布式數(shù)據(jù)處理的批處理方法及系統(tǒng)

有效

• 申請?zhí)枺?/td>: 201210362479.4
• 申請日: 2012-09-25
• 公開（公告）號: CN102929585A
• 公開（公告）日: 2013-02-13
• 發(fā)明（設(shè)計）人: 陳即憶;武劍鋒;王泊;黃俊杰;劉經(jīng)緯;何希圣;黃寅飛;鄭剛;陸素源;白碩
• 申請（專利權(quán)）人: 上海證券交易所
• 主分類號: G06F9/38
• 分類號: G06F9/38;G06F9/46
• 代理公司: 上海三方專利事務(wù)所 31127
• 代理人: 吳干權(quán)

[技術(shù)領(lǐng)域]

本發(fā)明涉及信息數(shù)據(jù)處理技術(shù)領(lǐng)域，具體是一種支持多主機分布式數(shù)據(jù)處理的批處理方法及系統(tǒng)。?

[背景技術(shù)]

隨著證券交易市場的日益蓬勃和成熟，交易數(shù)據(jù)量也越來越大，對交易及處理系統(tǒng)的穩(wěn)定性和處理效率都有較高的要求。在每個交易日交易時間段過后，交易系統(tǒng)就開始對當(dāng)日的交易進行清算，然后處理復(fù)雜的非實時成交業(yè)務(wù)。這類盤后處理過程，業(yè)內(nèi)通常稱為批處理。簡單的說，批處理就是將不同的任務(wù)進行分組，即分批，然后按照一定的順序執(zhí)行這些任務(wù)的過程。?

根據(jù)業(yè)務(wù)復(fù)雜程度的不同，批處理系統(tǒng)的復(fù)雜程度也不盡相同。最簡單的批處理系統(tǒng)可以是一個簡單、直觀的SHELL程序，例如現(xiàn)有技術(shù)中有一種固定收益平臺的批處理系統(tǒng)，此類批處理系統(tǒng)可以滿足比較簡單的業(yè)務(wù)需求。但是其效率、可擴展性，以及使用的便利性都有比較明顯的問題。比如，如果需要增加一段處理邏輯，就需要修改該SHELL程序，對所有的其他業(yè)務(wù)都會有較大影響。?

現(xiàn)有技術(shù)中，大宗交易系統(tǒng)的批處理系統(tǒng)通常是一個基于UNIX的CRONTAB的輕量級數(shù)據(jù)處理系統(tǒng)。?一方面，CRONTAB為周期性調(diào)用應(yīng)用程序邏輯提供了較大的便利，另一方面，其局限性也是十分的明顯。首先，其不具備高可用性。使用CRONTAB意味著應(yīng)用程序被執(zhí)行的時間點是固定的,?當(dāng)某一應(yīng)用程序所依?賴的上游系統(tǒng)故障而需要推遲該應(yīng)用程序時，需要人工干預(yù)。第二，異常處理能力較差。基于CRONTAB，并沒有一個統(tǒng)籌的管理程序負(fù)責(zé)對于各個應(yīng)用程序的執(zhí)行情況進行監(jiān)控。當(dāng)某一個應(yīng)用程序執(zhí)行出錯時，并不能及時反饋運行人員。在實踐中，往往是下游系統(tǒng)運行人員將錯誤通知到該批處理系統(tǒng)的運行人員。第三，各批步驟耦合性較高，擴展性不佳。在CRONTAB配置文件中，所有的批步驟都被賦予了一個時間點。亦即在時間點的維度上，所有的批步驟都相關(guān)。而實際操作中，一般批步驟之間最大的相關(guān)性應(yīng)該是先后順序，而非實際的時間點。其限制了時間點，卻未必能保證實際執(zhí)行順序，因此不夠穩(wěn)定可靠，在現(xiàn)有市場中還未能有一種處理效率高、安全穩(wěn)定且可靠的批處理系統(tǒng)來滿足日益豐富的數(shù)據(jù)量。?

[發(fā)明內(nèi)容]

本發(fā)明的目的就是為了解決現(xiàn)有技術(shù)中的不足和缺陷，提供一種耦合性高、擴展性佳、安全、穩(wěn)定、可靠的支持多主機分布式數(shù)據(jù)處理的批處理方法及系統(tǒng)。?

為實現(xiàn)上述目的，設(shè)計一種支持多主機分布式數(shù)據(jù)處理的批處理方法及系統(tǒng)，其特征在于批處理系統(tǒng)中設(shè)有批處理框架，批處理框架主要包括批處理引擎程序、批處理管理和監(jiān)控程序、批處理流程控制文件以及批處理批步驟定義文件，其中，流程控制文件和批步驟定義文件為兩個配置文件，當(dāng)批處理引擎啟動后，就會遍歷流程控制文件，獲得下一步需要處理批步驟代碼，然后根據(jù)批處理代碼，從批步驟定義文件獲得需要執(zhí)行的腳本信息，然后執(zhí)行該腳本來完成該批步驟。?

所述的批處理引擎程序掃描批處理流程控制文件過程中，如果發(fā)現(xiàn)兩個批步驟的配置為并行執(zhí)行，則會將兩個批步驟分別提交CPU并行執(zhí)行；另外，流程控制文件中，將批處理步驟進行分組，不同的批處理組之間并行處理。?

所述的批處理系統(tǒng)采用多主機框架，多臺主機使用同一個磁盤，訪問相同的文件時，內(nèi)存也保持一致，批處理引擎在其中一臺主機中執(zhí)行。?

所述的批處理框架和批處理應(yīng)用程序相互分離，新增一個批處理步驟，在流程控制文件中新增該批步驟代碼以及批步驟名，然后在批步驟定義文件中定義批步驟的相關(guān)信息；批步驟定義的相關(guān)信息包括需要執(zhí)行的應(yīng)用程序、是否需要多主機并發(fā)、是否需要多進程并發(fā)。?

一種支持多主機分布式數(shù)據(jù)處理的批處理方法，其特征在于該方法步驟操作如下：

a.批處理框架模型?

批處理引擎模塊是批處理框架的核心，每一個批步驟會有一個5位數(shù)的代碼，當(dāng)批處理引擎啟動后，就會遍歷批處理流控制文件，獲得下一步需要處理批步驟代碼，然后根據(jù)批處理代碼，從批步驟定義文件獲得需要執(zhí)行的腳本，然后執(zhí)行該腳本來完成該批步驟，批處理引擎還會對每一個批步驟執(zhí)行的結(jié)果進行檢查并做相應(yīng)處理；?

b.批處理操控界面?

批處理操控界面中，每一條記錄代表一個批步驟，根據(jù)此界面查看及設(shè)置批步驟的執(zhí)行狀態(tài)、查看批步驟所調(diào)用的應(yīng)用程序、查看執(zhí)行批步驟執(zhí)行日志、重新啟動批處理操作；?

c.流控制模型–串行處理與并行處理?