[發(fā)明專利]一種支持?jǐn)帱c續(xù)航的批量數(shù)據(jù)處理方法

有效

• 申請?zhí)枺?/td>: 201010101041.1
• 申請日: 2010-01-26
• 公開（公告）號: CN101788908A
• 公開（公告）日: 2010-07-28
• 發(fā)明（設(shè)計）人: 張家重;祝鵬;李衍珠;孫成通;王紅娟
• 申請（專利權(quán)）人: 浪潮(山東)電子信息有限公司
• 主分類號: G06F9/44
• 分類號: G06F9/44;G06F11/36;G06F17/30
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.一種支持?jǐn)帱c續(xù)航的批量數(shù)據(jù)處理方法，其特征在于所述方法應(yīng)用到 斷點和一套架構(gòu)、一組規(guī)范；

斷點是批量計算的一個計算節(jié)點，劃分?jǐn)帱c的依據(jù)是能夠完成一項相對完 整的獨立業(yè)務(wù)計算；批量計算可以被清晰的描述為所包含的斷點、在同一個批 量內(nèi)的斷點之間的相互依賴關(guān)系以及不同的斷點之間的先后執(zhí)行順序；斷點的 計算以API函數(shù)、存儲過程、獨立可執(zhí)行程序的方式實現(xiàn)；斷點間的數(shù)據(jù)交互 通過數(shù)據(jù)庫實現(xiàn)或者使用獨立文件的形式實現(xiàn)；

該架構(gòu)是支持后臺批量程序運行的技術(shù)框架和平臺，包括監(jiān)控界面、總控 調(diào)度器、運行邏輯判斷器、斷點控制線程容器、批量定義維護(hù)界面；監(jiān)控界面： 用于控制參與計算的斷點在本次運算中的地位，包括：計算、不計算、重算、 跳過，并提供對于運算過程的監(jiān)視界面；總控調(diào)度器：是后臺控制的核心模塊， 由其根據(jù)計算任務(wù)，調(diào)用不同斷點的計算過程；運行邏輯判斷器：根據(jù)某次計 算的斷點計算要求，依據(jù)事先定義斷點依賴邏輯圖，判斷本次計算所需要經(jīng)過 的斷點及先后關(guān)系，形成本次計算任務(wù)，遇有允許并發(fā)的斷點，還需要生成并 發(fā)任務(wù)；斷點控制線程容器：斷點控制線程用于調(diào)用斷點計算接口，并監(jiān)控斷 點計算模塊的運行狀態(tài)，系統(tǒng)預(yù)生成若干斷點控制線程放入斷點控制線程容 器；總控調(diào)度器每次獲取到一個計算任務(wù)后，向斷點控制線程容器申請一個空 閑的線程；斷點任務(wù)計算完成后，總控調(diào)度器將線程放回斷點控制線程容器； 批量定義維護(hù)界面：實現(xiàn)一組維護(hù)界面功能，用于維護(hù)每個批量計算所包含的 斷點、斷點間的依賴關(guān)系；每個應(yīng)用系統(tǒng)包括多個批量定義；批量定義維護(hù)界 面功能還提供每個斷點邏輯的維護(hù)；

規(guī)范用于指導(dǎo)在應(yīng)用系統(tǒng)中使用上述架構(gòu)時，所開發(fā)的斷點業(yè)務(wù)模塊所應(yīng) 遵循的約定，包括調(diào)用接口、斷點配置文件、批量配置文件、日志規(guī)范、版本 管理規(guī)范；調(diào)用接口：用于定義每個斷點計算所應(yīng)提供的標(biāo)準(zhǔn)接口和參數(shù)，每 個斷點必須提供四個斷點計算接口——預(yù)處理接口、計算邏輯接口即主程序接 口、后處理接口、數(shù)據(jù)清理接口即回滾接口；斷點配置文件：一個XML格式的 文件，用于定義每個斷點的編號、內(nèi)容、上述的四個接口指向的函數(shù)和存儲過 程和可執(zhí)行程序；批量配置文件：一個XML格式的文件，用于定義每個批量計 算所包含的斷點、斷點間的依賴關(guān)系、斷點的并發(fā)控制、默認(rèn)計算邏輯；日志 規(guī)范：包括運行狀態(tài)日志、錯誤日志、數(shù)據(jù)現(xiàn)場日志三類規(guī)范，斷點業(yè)務(wù)控制 遵循日志規(guī)范生成日志文件；版本管理規(guī)范：定義批量運算的版本，相同發(fā)起 入口的每次批量計算會被記錄為一個版本，每個版本對應(yīng)使用的斷點配置文 件、批量配置文件、參數(shù)版本記錄、中間結(jié)果記錄；

各部分間的邏輯關(guān)系與本方法的步驟為：

(1)、通過批量定義維護(hù)界面，定義每個批量所包含的斷點及斷點間關(guān)系， 結(jié)果寫入斷點配置文件、批量配置文件；

(2)、操作員通過監(jiān)控界面，根據(jù)斷點配置文件內(nèi)記錄的內(nèi)容，設(shè)置本次 批量的所需要計算的斷點；

(3)、運行邏輯判斷器根據(jù)監(jiān)控界面的設(shè)定結(jié)果和批量配置文件所定義的 斷點邏輯關(guān)系，生成本次批量的計算任務(wù)清單；

(4)、總控調(diào)度器根據(jù)計算任務(wù)清單，逐項執(zhí)行斷點計算任務(wù)；

(5)、總控調(diào)度器每次獲取到一個計算任務(wù)后，向斷點控制線程容器申請 一個空閑的斷點控制線程；斷點任務(wù)計算完成后，總控調(diào)度器將斷點控制線程 放回斷點控制線程容器；

(6)、每個斷點控制線程根據(jù)斷點配置文件的定義，調(diào)用斷點計算接口進(jìn) 行計算；

(7)、斷點計算的狀態(tài)，通過運行狀態(tài)日志實時反饋到監(jiān)控界面。

2.根據(jù)權(quán)利要求1所述的一種支持?jǐn)帱c續(xù)航的批量數(shù)據(jù)處理方法，其特 征在于斷點間的數(shù)據(jù)交互通過數(shù)據(jù)庫實現(xiàn)，即斷點所需要的數(shù)據(jù)源應(yīng)取自于數(shù) 據(jù)庫的某些表中，斷點計算生成的數(shù)據(jù)應(yīng)存放于數(shù)據(jù)庫的某些表中。

3.根據(jù)權(quán)利要求1所述的一種支持?jǐn)帱c續(xù)航的批量數(shù)據(jù)處理方法，其特 征在于：斷點控制線程容器中系統(tǒng)預(yù)生成的斷點控制線程的個數(shù)為系統(tǒng)CPU的 個數(shù)減一。

4.根據(jù)權(quán)利要求1所述的一種支持?jǐn)帱c續(xù)航的批量數(shù)據(jù)處理方法，其特 征在于日志包括運行狀態(tài)日志、錯誤日志、數(shù)據(jù)現(xiàn)場日志，日志在斷點因計算 錯誤而中斷時用于記錄錯誤現(xiàn)場的數(shù)據(jù)。