[發(fā)明專利]配置驅(qū)動(dòng)的輕量級(jí)批量數(shù)據(jù)處理方法及裝置

在審

• 申請(qǐng)?zhí)枺?/td>: 202110348787.0
• 申請(qǐng)日: 2021-03-31
• 公開(kāi)（公告）號(hào): CN113010232A
• 公開(kāi)（公告）日: 2021-06-22
• 發(fā)明（設(shè)計(jì)）人: 楊有為;劉慶文
• 申請(qǐng)（專利權(quán)）人: 建信金融科技有限責(zé)任公司
• 主分類(lèi)號(hào): G06F9/445
• 分類(lèi)號(hào): G06F9/445;G06F8/20;G06F8/41
• 代理公司: 北京三友知識(shí)產(chǎn)權(quán)代理有限公司 11127
• 代理人: 賈磊;李輝

1.一種配置驅(qū)動(dòng)的輕量級(jí)批量數(shù)據(jù)處理方法，其特征在于，包括：

輸入作業(yè)配置文件名和業(yè)務(wù)日期；

初始化環(huán)境變量；

基于所述作業(yè)配置文件名，獲取已配置的作業(yè)配置文件，逐步驟進(jìn)行處理；其中，所述作業(yè)配置文件中配置有完成一個(gè)任務(wù)所需的具有先后順序的步驟信息；

基于每一步驟信息查找相應(yīng)的已定義的處理器和已配置的步驟配置文件；其中，所述已定義的處理器用于執(zhí)行對(duì)應(yīng)的步驟，所述步驟配置文件中配置有每一步驟的運(yùn)行參數(shù)；

基于已配置的步驟配置文件，將對(duì)應(yīng)的步驟的運(yùn)行參數(shù)注入到已定義的處理器中；

基于業(yè)務(wù)日期獲取相應(yīng)的業(yè)務(wù)數(shù)據(jù)；

基于所述業(yè)務(wù)數(shù)據(jù)運(yùn)行已定義的處理器，直到所有步驟均已經(jīng)處理完成。

2.如權(quán)利要求1所述的配置驅(qū)動(dòng)的輕量級(jí)批量數(shù)據(jù)處理方法，其特征在于，初始化環(huán)境變量，包括：

設(shè)置數(shù)據(jù)文件的保存路徑；

設(shè)置配置驅(qū)動(dòng)的輕量級(jí)批量數(shù)據(jù)處理程序運(yùn)行日期。

3.如權(quán)利要求1所述的配置驅(qū)動(dòng)的輕量級(jí)批量數(shù)據(jù)處理方法，其特征在于，基于所述作業(yè)配置文件名，獲取已配置的作業(yè)配置文件，逐步驟進(jìn)行處理，包括：

基于所述作業(yè)配置文件名，獲取已配置的作業(yè)配置文件，判斷是否存在下一個(gè)步驟，若存在，則從已配置的作業(yè)配置文件中獲取第一個(gè)步驟信息，若不存在，則結(jié)束；

基于每一步驟信息查找相應(yīng)的已定義的處理器和已配置的步驟配置文件，包括：

基于第一個(gè)步驟信息查找相應(yīng)的已定義的處理器和已配置的步驟配置文件；

基于已配置的步驟配置文件，將對(duì)應(yīng)的步驟的運(yùn)行參數(shù)注入到已定義的處理器中，包括：

基于第一個(gè)步驟對(duì)應(yīng)的已配置的步驟配置文件，將第一個(gè)步驟的運(yùn)行參數(shù)注入到已定義的處理器中；

基于所述業(yè)務(wù)數(shù)據(jù)運(yùn)行已定義的處理器，直到所有步驟均已經(jīng)處理完成，包括：

基于所述業(yè)務(wù)數(shù)據(jù)運(yùn)行已定義的處理器，完成第一個(gè)步驟處理，重新回到下一個(gè)步驟的判斷，直到所有步驟均已經(jīng)處理完成。

4.如權(quán)利要求1所述的配置驅(qū)動(dòng)的輕量級(jí)批量數(shù)據(jù)處理方法，其特征在于，基于已配置的步驟配置文件，將對(duì)應(yīng)的步驟的運(yùn)行參數(shù)注入到已定義的處理器中，包括：

對(duì)已配置的步驟配置文件進(jìn)行解析，獲得對(duì)應(yīng)的步驟的運(yùn)行參數(shù)；

將對(duì)應(yīng)的步驟的運(yùn)行參數(shù)注入到已定義的處理器中。

5.如權(quán)利要求2所述的配置驅(qū)動(dòng)的輕量級(jí)批量數(shù)據(jù)處理方法，其特征在于，還包括：

基于所述業(yè)務(wù)數(shù)據(jù)運(yùn)行已定義的處理器后，獲得運(yùn)行結(jié)果數(shù)據(jù)，將所述運(yùn)行結(jié)果數(shù)據(jù)按照設(shè)置的數(shù)據(jù)文件的保存路徑進(jìn)行保存。

6.如權(quán)利要求2所述的配置驅(qū)動(dòng)的輕量級(jí)批量數(shù)據(jù)處理方法，其特征在于，還包括：

基于所述業(yè)務(wù)數(shù)據(jù)運(yùn)行已定義的處理器后，獲得程序運(yùn)行日志，將所述程序運(yùn)行日志按照設(shè)置的數(shù)據(jù)文件的保存路徑進(jìn)行保存。

7.如權(quán)利要求1所述的配置驅(qū)動(dòng)的輕量級(jí)批量數(shù)據(jù)處理方法，其特征在于，所述作業(yè)配置文件和步驟配置文件的內(nèi)容以excel形式存儲(chǔ)。

8.如權(quán)利要求7所述的配置驅(qū)動(dòng)的輕量級(jí)批量數(shù)據(jù)處理方法，其特征在于，所述作業(yè)配置文件中的步驟信息包括是否生效信息、步驟ID、步驟分類(lèi)信息、配置文件信息、配置頁(yè)面信息、配置ID、步驟描述信息和備注信息；

其中，是否生效信息表明該步驟是否執(zhí)行；步驟分類(lèi)信息表明該步驟對(duì)應(yīng)的指定處理器；配置文件信息表明該步驟對(duì)應(yīng)的已配置的步驟配置文件名；配置頁(yè)面信息表明該步驟對(duì)應(yīng)的已配置的步驟配置文件中excel頁(yè)面名稱。

9.如權(quán)利要求1所述的配置驅(qū)動(dòng)的輕量級(jí)批量數(shù)據(jù)處理方法，其特征在于，所述作業(yè)配置文件中的步驟信息以行為單位進(jìn)行存儲(chǔ)，每行代表一條步驟記錄，每條步驟記錄都是一個(gè)json字符串；

獲取已配置的作業(yè)配置文件，逐步驟進(jìn)行處理，包括：

獲取已配置的作業(yè)配置文件，從所述作業(yè)配置文件中逐行讀取步驟進(jìn)行處理。