[發(fā)明專利]批量數(shù)據(jù)處理方法、裝置、設(shè)備及可讀存儲(chǔ)介質(zhì)

在審

• 申請(qǐng)?zhí)枺?/td>: 202310639593.5
• 申請(qǐng)日: 2023-05-31
• 公開（公告）號(hào): CN116643865A
• 公開（公告）日: 2023-08-25
• 發(fā)明（設(shè)計(jì)）人: 何方敏
• 申請(qǐng)（專利權(quán)）人: 中國(guó)銀行股份有限公司
• 主分類號(hào): G06F9/48
• 分類號(hào): G06F9/48;G06F21/64
• 代理公司: 北京同立鈞成知識(shí)產(chǎn)權(quán)代理有限公司 11205
• 代理人: 楊俊輝;黃健

1.一種批量數(shù)據(jù)處理方法，其特征在于，包括：

獲取批量處理任務(wù)，所述批量處理任務(wù)用于指示對(duì)第一批量數(shù)據(jù)進(jìn)行處理；

確定多個(gè)批量處理過(guò)程對(duì)應(yīng)的多個(gè)通用處理模板，所述多個(gè)批量處理過(guò)程包括批量讀過(guò)程、批量格式轉(zhuǎn)換過(guò)程和批量寫過(guò)程；

確定所述第一批量數(shù)據(jù)的第一數(shù)據(jù)信息，所述第一數(shù)據(jù)信息包括如下至少一種：所述第一批量數(shù)據(jù)的數(shù)據(jù)類型、存儲(chǔ)所述第一批量數(shù)據(jù)的源設(shè)備、待轉(zhuǎn)換至的目標(biāo)數(shù)據(jù)類型或待存儲(chǔ)至的目標(biāo)設(shè)備；

根據(jù)所述多個(gè)通用處理模板和所述第一數(shù)據(jù)信息，確定所述多個(gè)批量處理過(guò)程對(duì)應(yīng)的多個(gè)目標(biāo)處理方式；

通過(guò)所述多個(gè)目標(biāo)處理方式執(zhí)行所述批量處理任務(wù)。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，針對(duì)任意一個(gè)批量處理過(guò)程對(duì)應(yīng)的通用處理模板；根據(jù)所述通用處理模板和所述第一數(shù)據(jù)信息，確定所述批量處理過(guò)程對(duì)應(yīng)的目標(biāo)處理方式，包括：

確定所述通用處理模板對(duì)應(yīng)的標(biāo)準(zhǔn)數(shù)據(jù)信息；

在所述第一數(shù)據(jù)信息中確定所述通用處理模板對(duì)應(yīng)的第一子數(shù)據(jù)信息；

獲取所述標(biāo)準(zhǔn)數(shù)據(jù)信息和所述第一子數(shù)據(jù)信息之間的對(duì)比結(jié)果，所述對(duì)比結(jié)果為相同或者不相同；

根據(jù)所述通用處理模板和所述對(duì)比結(jié)果，確定所述批量處理過(guò)程對(duì)應(yīng)的目標(biāo)處理方式。

3.根據(jù)權(quán)利要求2所述的方法，其特征在于，在所述第一數(shù)據(jù)信息中確定所述通用處理模板對(duì)應(yīng)的第一子數(shù)據(jù)信息，包括：

確定所述通用處理模板對(duì)應(yīng)的第一數(shù)據(jù)類型；

根據(jù)所述第一數(shù)據(jù)類型、以及所述第一數(shù)據(jù)信息中各子數(shù)據(jù)信息的數(shù)據(jù)類型，在所述第一數(shù)據(jù)信息中確定所述第一子數(shù)據(jù)信息。

4.根據(jù)權(quán)利要求2或3所述的方法，其特征在于，根據(jù)所述通用處理模板和所述對(duì)比結(jié)果，確定所述批量處理過(guò)程對(duì)應(yīng)的目標(biāo)處理方式，包括：

確定所述通用處理模板對(duì)應(yīng)的多個(gè)處理階段；

若所述對(duì)比結(jié)果為相同，則確定所述多個(gè)處理階段對(duì)應(yīng)的多個(gè)通用代碼段，并根據(jù)所述多個(gè)通用代碼段確定所述目標(biāo)處理方式；

若所述對(duì)比結(jié)果為不同，則根據(jù)所述第一子數(shù)據(jù)信息和所述多個(gè)處理階段，確定所述目標(biāo)處理方式。

5.根據(jù)權(quán)利要求4所述的方法，其特征在于，根據(jù)所述第一子數(shù)據(jù)信息和所述多個(gè)處理階段，確定所述目標(biāo)處理方式，包括：

在所述多個(gè)處理階段中確定第一處理階段和第二處理階段，所述第一處理階段對(duì)應(yīng)通用代碼段，所述第二處理階段對(duì)應(yīng)通用代碼段和自定義代碼段；

根據(jù)所述第一子數(shù)據(jù)信息，在所述第二處理階段對(duì)應(yīng)的自定義代碼段中確定目標(biāo)自定義代碼段；

根據(jù)所述第一處理階段對(duì)應(yīng)的通用代碼段、以及所述目標(biāo)自定義代碼段，確定所述目標(biāo)處理方式。

6.根據(jù)權(quán)利要求1-5任一項(xiàng)所述的方法，其特征在于，所述多個(gè)目標(biāo)處理方式包括批量讀方式、批量格式轉(zhuǎn)換方式和批量寫方式；通過(guò)所述多個(gè)目標(biāo)處理方式執(zhí)行所述批量處理任務(wù)，包括：

通過(guò)所述批量讀方式在所述源設(shè)備中獲取所述第一批量數(shù)據(jù)；

通過(guò)所述批量格式轉(zhuǎn)換方式對(duì)所述第一批量數(shù)據(jù)進(jìn)行格式轉(zhuǎn)換處理，得到第二批量數(shù)據(jù)；

通過(guò)所述批量寫方式將所述第二批量數(shù)據(jù)存儲(chǔ)至所述目標(biāo)設(shè)備，以完成所述批量處理任務(wù)。

7.根據(jù)權(quán)利要求6所述的方法，其特征在于，通過(guò)所述批量讀方式在所述源設(shè)備中獲取所述第一批量數(shù)據(jù)，包括：

確定所述源設(shè)備，并對(duì)所述源設(shè)備進(jìn)行安全校驗(yàn)；

在對(duì)所述源設(shè)備安全校驗(yàn)通過(guò)之后，對(duì)所述第一批量數(shù)據(jù)進(jìn)行安全驗(yàn)證；

在確定所述第一批量數(shù)據(jù)安全時(shí)，通過(guò)所述批量讀方式在所述源設(shè)備中讀取所述第一批量數(shù)據(jù)。