[發(fā)明專利]一種斷點(diǎn)重跑批處理系統(tǒng)和方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202110151985.8
• 申請(qǐng)日: 2021-02-04
• 公開（公告）號(hào): CN112882807A
• 公開（公告）日: 2021-06-01
• 發(fā)明（設(shè)計(jì)）人: 張霖;曹志強(qiáng);許興;吳踐
• 申請(qǐng)（專利權(quán)）人: 永輝云金科技有限公司
• 主分類號(hào): G06F9/48
• 分類號(hào): G06F9/48;G06F11/30
• 代理公司: 重慶智慧之源知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 50234
• 代理人: 余洪;高彬

1.一種斷點(diǎn)重跑批處理系統(tǒng)，其特征在于，包括：

調(diào)度執(zhí)行容器、批處理模塊、路由模塊、監(jiān)控模塊、預(yù)警模塊和異常現(xiàn)場(chǎng)記錄模塊；

所述調(diào)度執(zhí)行容器為批處理進(jìn)程和批處理程序啟動(dòng)入口，用于初始化數(shù)據(jù)庫連接池和批處理參數(shù)，存儲(chǔ)在內(nèi)存中，并組織協(xié)調(diào)所述批處理模塊、路由模塊、監(jiān)控模塊、預(yù)警模塊和異常現(xiàn)場(chǎng)記錄模塊之間的通信、交互和調(diào)度；

所述批處理模塊用于執(zhí)行所述批處理進(jìn)程中業(yè)務(wù)場(chǎng)景的處理；

所述路由模塊用于控制所述批處理進(jìn)程中業(yè)務(wù)場(chǎng)景的執(zhí)行順序和異常處理；

所述監(jiān)控模塊用于監(jiān)控所述批處理進(jìn)程的運(yùn)行狀態(tài)；

所述預(yù)警模塊用于在監(jiān)控模塊檢測(cè)到批處理進(jìn)程存在異常時(shí)，根據(jù)所述異常判斷預(yù)警級(jí)別并發(fā)出預(yù)警通知；

所述異常現(xiàn)場(chǎng)記錄模塊用于在監(jiān)控模塊檢測(cè)到批處理進(jìn)程存在異常時(shí)，記錄當(dāng)前數(shù)據(jù)處理點(diǎn)，并在異常處理完成后，將所述當(dāng)前數(shù)據(jù)處理點(diǎn)發(fā)送至所述調(diào)度執(zhí)行容器，所述調(diào)度執(zhí)行容器從所述當(dāng)前數(shù)據(jù)處理點(diǎn)啟動(dòng)，繼續(xù)進(jìn)行批處理進(jìn)程。

2.根據(jù)權(quán)利要求1所述的一種斷點(diǎn)重跑批處理系統(tǒng)，其特征在于，所述批處理模塊通過Java、linux shell腳本或數(shù)據(jù)庫sql腳本實(shí)現(xiàn)。

3.根據(jù)權(quán)利要求1所述的一種斷點(diǎn)重跑批處理系統(tǒng)，其特征在于，所述批處理模塊包括有前置批處理單元、批處理中單元和后置批處理單元；所述前置批處理單元、批處理中單元和后置批處理單元分別配置有對(duì)應(yīng)的規(guī)則，所述規(guī)則通過xml文件進(jìn)行存儲(chǔ)，所述調(diào)度執(zhí)行容器讀取所述xml文件實(shí)現(xiàn)批處理配置；所述路由模塊控制前置批處理單元、批處理中單元和后置批處理單元依次對(duì)批處理進(jìn)程進(jìn)行處理。

4.根據(jù)權(quán)利要求1所述的一種斷點(diǎn)重跑批處理系統(tǒng)，其特征在于，所述監(jiān)控模塊還用于在所述調(diào)度執(zhí)行容器調(diào)度批處理時(shí)、批處理調(diào)度完成時(shí)和批處理異常時(shí)接收通知，對(duì)所述批處理進(jìn)程進(jìn)行監(jiān)控和記錄，收集所述批處理進(jìn)程的當(dāng)前運(yùn)行環(huán)境CPU和內(nèi)存使用率，并暴露查詢批處理狀態(tài)的接口，用于查詢批處理進(jìn)程的執(zhí)行情況。

5.根據(jù)權(quán)利要求4所述的一種斷點(diǎn)重跑批處理系統(tǒng)，其特征在于，還包括：網(wǎng)頁前端，所述網(wǎng)頁前端用于接入所述查詢批處理狀態(tài)的接口，獲取批處理進(jìn)程的執(zhí)行情況，并根據(jù)所述批處理進(jìn)程的當(dāng)前運(yùn)行環(huán)境CPU和內(nèi)存使用率判斷異常出現(xiàn)原因。

6.根據(jù)權(quán)利要求1所述的一種斷點(diǎn)重跑批處理系統(tǒng)，其特征在于，還包括：日志模塊，所述日志模塊用于收集批處理進(jìn)程運(yùn)行時(shí)的日志，并匯總生成批處理報(bào)告。

7.根據(jù)權(quán)利要求1所述的一種斷點(diǎn)重跑批處理系統(tǒng)，其特征在于，所述預(yù)警模塊配置有預(yù)警級(jí)別、預(yù)警次數(shù)、預(yù)警間隔和預(yù)警方式，所述預(yù)警級(jí)別設(shè)置有初級(jí)、中級(jí)和高級(jí)三種級(jí)別；所述預(yù)警次數(shù)用于在檢測(cè)到發(fā)出的預(yù)警通知未關(guān)閉后，再次根據(jù)設(shè)置的預(yù)警間隔發(fā)出預(yù)警通知；所述預(yù)警方式包括有短信預(yù)警和郵件預(yù)警。

8.一種斷點(diǎn)重跑批處理方法，其特征在于，包括以下步驟：

通過調(diào)度執(zhí)行容器啟動(dòng)批處理進(jìn)程和批處理程序；

根據(jù)批處理模塊進(jìn)行所述批處理進(jìn)程中的業(yè)務(wù)場(chǎng)景處理，并通過路由模塊控制所述業(yè)務(wù)場(chǎng)景處理的執(zhí)行順序和異常處理；

根據(jù)監(jiān)控模塊監(jiān)控所述批處理進(jìn)程的運(yùn)行狀態(tài)；

若批處理進(jìn)程的運(yùn)行狀態(tài)存在異常時(shí)，通過異常現(xiàn)場(chǎng)記錄模塊記錄當(dāng)前數(shù)據(jù)處理點(diǎn)，并通過預(yù)警模塊判斷異常級(jí)別，根據(jù)異常級(jí)別發(fā)出預(yù)警通知；

在異常處理完成后，調(diào)度執(zhí)行容器從所述當(dāng)前數(shù)據(jù)處理點(diǎn)啟動(dòng)，繼續(xù)進(jìn)行批處理進(jìn)程。

9.根據(jù)權(quán)利要求8所述的一種斷點(diǎn)重跑批處理方法，其特征在于，所述若批處理進(jìn)程的運(yùn)行狀態(tài)存在異常時(shí)，還包括：

在所述監(jiān)控模塊檢測(cè)到所述批處理進(jìn)程存在一個(gè)異常的批量單元時(shí)，根據(jù)所述路由模塊控制對(duì)下一個(gè)批處理單元進(jìn)行處理，并通過預(yù)警模塊發(fā)出初級(jí)預(yù)警通知；

在所述批處理進(jìn)程存在多個(gè)異常的批量單元時(shí)，通過所述調(diào)度執(zhí)行器重新調(diào)用異常的批量單元，若異常的批量單元均重新啟動(dòng)，則繼續(xù)執(zhí)行批處理進(jìn)程，并通過所述預(yù)警模塊發(fā)出中級(jí)預(yù)警通知；

若多個(gè)異常的批量單元調(diào)用次數(shù)均超過閾值，且仍存在異常的批處理單元啟動(dòng)失敗，則終止批處理進(jìn)程，并通過所述預(yù)警模塊發(fā)出高級(jí)預(yù)警通知。