[發明專利]一種支持斷點續航的批量數據處理方法

有效

• 申請號: 201010101041.1
• 申請日: 2010-01-26
• 公開（公告）號: CN101788908A
• 公開（公告）日: 2010-07-28
• 發明（設計）人: 張家重;祝鵬;李衍珠;孫成通;王紅娟
• 申請（專利權）人: 浪潮(山東)電子信息有限公司
• 主分類號: G06F9/44
• 分類號: G06F9/44;G06F11/36;G06F17/30
• 代理公司: 暫無信息
• 代理人: 暫無信息

技術領域

本發明涉及一種批量數據處理方法，具體地說是一種支持斷點續航的批量數據處理方法。?

背景技術

在處理海量數據的應用系統中，后臺數據批量處理往往是系統的核心，但同時也是耗費大量資源、時間的過程。傳統的線性運行批量處理程序，在實際使用中往往面臨以下困難：1、排錯困難：在批量計算過程中，往往出現某條數據的錯誤而導致計算過程中斷。但是在海量數據中準確定位這條數據，如果沒有完整的數據現場記錄，則幾乎是不可能完成的任務。通過重算尋找錯誤，則需要花費大量的時間從開始運行到發生錯誤的位置，如果這個錯誤實在批量接近結束時發生的，那對于系統管理員簡直就是一場災難。2、重算困難：排除錯誤后，重新計算，不僅需要花費大量時間(一般的批量耗費的時間往往是以小時計，甚至是以天計)，而且需要謹慎的清理前一次出錯的現場，工作量大、風險高。3、調試困難：如果需要調整系統，并進行試算，則即使一個小的調整也需要完整的運行整個批量過程，浪費大量的時間。?

因此，此類應用系統需要一個能夠將批量計算劃分為若干可獨立控制的計算單元的方法，計算單元依次執行，最終完成整個批量計算。?

發明內容

本發明的技術任務是提供可以支持將一個大的批量事務劃分為若干斷點分步執行，斷點間的依賴關系、先后順序、并發控制由后臺的批量控制器統一調度，通過前臺可視化的控制界面可以完成對部分或全部斷點進行調度控制(包括：計算、不計算、重算、跳過)和狀態監視的一種支持斷點續航的批量數據處理方法。?

本發明的技術任務是按以下方式實現的，本方法應用到斷點和一套架構、一組規范：?

●斷點[breakpoint]是批量計算的一個計算節點，劃分斷點的主要依據就是能夠完成一項相對完整的獨立業務計算。批量計算可以被清晰的描述為所包含的斷點、在同一個批量內的斷點之間的相互依賴關系以及不同的斷點之間的先后執行順序。斷點的計算以API函數、存儲過程、獨立可執行程序的方式實現。斷點間的數據交互通過數據庫實現，即斷點所?需要的數據源應取自于數據庫的某些表中，斷點計算生成的數據應存放與數據庫的某些表中(特殊情況下，斷點間的數據交互也可以使用獨立文件的形式實現)。?

●架構是支持后臺批量程序運行的技術框架和平臺，包括：監控界面、總控調度器[DCCU]、運行邏輯判斷器[OSDU]、斷點控制線程容器[BCTC]、批量定義維護界面。?

■監控界面：用于控制參與計算的斷點在本次運算中的地位，包括：計算、不計算、重算、跳過，并提供對于運算過程的監視界面。?

■總控調度器[DCCU]：是后臺控制的核心模塊，由其根據計算任務，調用不同斷點的計算過程。?

■運行邏輯判斷器[OSDU]：根據某次計算的斷點計算要求，依據事先定義斷點依賴邏輯圖，判斷本次計算所需要經過的斷點及先后關系，形成本次計算任務。遇有允許并發的斷點，還需要生成并發任務。?

■斷點控制線程容器[BCTC]：斷點控制線程用于調用斷點計算接口，并監控斷點計算模塊的運行狀態。系統預生成若干斷點控制線程(一般建議為CPU個數減一)，放入斷點控制線程容器；總控調度器[DCCU]每次獲取到一個計算任務后，向斷點控制線程容器申請一個空閑的線程；斷點任務計算完成后，總控調度器[DCCU]將線程放回斷點控制線程容器。?

■批量定義維護界面：實現一組維護界面功能，用于維護每個批量計算所包含的斷點、斷點間的依賴關系。每個應用系統可以包括多個批量定義，但是為避免系統堵塞，建議每次只啟動一個批量計算。此外，批量定義維護界面功能還提供每個斷點邏輯的維護。?

●規范用于指導在應用系統中使用上述架構時，所開發的斷點業務模塊所應遵循的約定，包括：調用接口、斷點配置文件[BKPT?Config?File]、批量配置文件[Batch?Config?File]、日志規范、版本管理規范。?

■調用接口：用于定義每個斷點計算所應提供的標準接口和參數，每個斷點必須提供四個接口：預處理接口[preprocessing?interface]、計算邏輯接口(即主程序接口)[process?interface]、后處理接口[afterprocessing?interface]、數據清理接口(即回滾接口)[rol?lback?interface]。?

■斷點配置文件[BKPT?Config?File]：一個XML格式的文件，用于定義每個斷點的編號、內容、上述的四個接口指向的函數和存儲過程和可執行程序。?