[發(fā)明專利]數(shù)據(jù)處理方法、裝置、計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)及處理器

在審

• 申請(qǐng)?zhí)枺?/td>: 202110469704.3
• 申請(qǐng)日: 2021-04-28
• 公開（公告）號(hào): CN113190603A
• 公開（公告）日: 2021-07-30
• 發(fā)明（設(shè)計(jì)）人: 張?zhí)m英;江黎楓;張海寧;續(xù)武強(qiáng);施妍萍;許璐;王璐;王坤鋒
• 申請(qǐng)（專利權(quán)）人: 中國郵政儲(chǔ)蓄銀行股份有限公司
• 主分類號(hào): G06F16/25
• 分類號(hào): G06F16/25
• 代理公司: 北京康信知識(shí)產(chǎn)權(quán)代理有限責(zé)任公司 11240
• 代理人: 曾紅芳

1.一種數(shù)據(jù)處理方法，其特征在于，包括：

獲取數(shù)據(jù)配置信息；

將所述數(shù)據(jù)配置信息加載至Shell腳本，并執(zhí)行所述Shell腳本的第一預(yù)設(shè)指令，以連接至少一個(gè)分庫數(shù)據(jù)庫；

從所述至少一個(gè)分庫數(shù)據(jù)庫抽取數(shù)據(jù)，并寫入到數(shù)據(jù)分片文件中。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，在獲取數(shù)據(jù)配置信息之前，還包括：

接收查詢配置指令；

依據(jù)所述查詢配置指令，從抽數(shù)配置庫中加載出所述數(shù)據(jù)配置信息，其中，所述數(shù)據(jù)配置信息包括以下至少之一：數(shù)據(jù)庫名、數(shù)據(jù)表名、指定抽取sql、數(shù)據(jù)抽取時(shí)間、每個(gè)文件允許數(shù)據(jù)量。

3.根據(jù)權(quán)利要求1所述的方法，其特征在于，從所述至少一個(gè)分庫數(shù)據(jù)庫抽取數(shù)據(jù)，并寫入到數(shù)據(jù)分片文件中，包括：

調(diào)用所述Shell腳本；

執(zhí)行所述Shell腳本的第二預(yù)設(shè)指令，將所述至少一個(gè)分庫數(shù)據(jù)庫抽取的數(shù)據(jù)寫入到所述數(shù)據(jù)分片文件中。

4.根據(jù)權(quán)利要求1至3中任一項(xiàng)所述的方法，其特征在于，在從所述至少一個(gè)分庫數(shù)據(jù)庫抽取數(shù)據(jù)，并寫入到數(shù)據(jù)分片文件中之后，還包括：

對(duì)所述數(shù)據(jù)分片文件進(jìn)行預(yù)設(shè)處理操作，其中，所述預(yù)設(shè)處理操作至少包括：匯總、格式化、切割。

5.根據(jù)權(quán)利要求4所述的方法，其特征在于，對(duì)所述數(shù)據(jù)分片文件進(jìn)行預(yù)設(shè)處理操作，包括：

執(zhí)行所述Shell腳本的第三預(yù)設(shè)指令，將所述數(shù)據(jù)分片文件進(jìn)行匯總，得到原始數(shù)據(jù)文件；

執(zhí)行所述Shell腳本的第四預(yù)設(shè)指令，將所述原始數(shù)據(jù)文件進(jìn)行格式化處理，得到格式化文件；

執(zhí)行所述Shell腳本的第五預(yù)設(shè)指令，將所述格式化文件進(jìn)行切割處理，得到目標(biāo)文件，其中，所述目標(biāo)文件為經(jīng)切割后達(dá)到預(yù)設(shè)配置大小的文件。

6.根據(jù)權(quán)利要求5所述的方法，其特征在于，在執(zhí)行所述Shell腳本的第五預(yù)設(shè)指令，將所述格式化文件進(jìn)行切割處理，得到目標(biāo)文件的同時(shí)，還包括：

生成所述目標(biāo)文件的附屬校驗(yàn)文件和檢查文件。

7.根據(jù)權(quán)利要求5所述的方法，其特征在于，在對(duì)所述數(shù)據(jù)分片文件進(jìn)行預(yù)設(shè)處理操作之后，還包括：

獲取所述目標(biāo)文件的文件目錄；

依據(jù)所述目標(biāo)文件的文件目錄，并調(diào)用應(yīng)用程序接口，將所述目標(biāo)文件上傳至文件存儲(chǔ)系統(tǒng)。

8.一種數(shù)據(jù)處理裝置，其特征在于，包括：

第一獲取模塊，用于獲取數(shù)據(jù)配置信息；

執(zhí)行模塊，用于將所述數(shù)據(jù)配置信息加載至Shell腳本，并執(zhí)行所述Shell腳本的第一預(yù)設(shè)指令，以連接至少一個(gè)分庫數(shù)據(jù)庫；

抽取模塊，用于從所述至少一個(gè)分庫數(shù)據(jù)庫抽取數(shù)據(jù)，并寫入到數(shù)據(jù)分片文件中。

9.一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其特征在于，所述計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)包括存儲(chǔ)的程序，其中，在所述程序運(yùn)行時(shí)控制所述計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)所在設(shè)備執(zhí)行權(quán)利要求1至7中任意一項(xiàng)所述的數(shù)據(jù)處理方法。

10.一種處理器，其特征在于，所述處理器用于運(yùn)行程序，其中，所述程序運(yùn)行時(shí)執(zhí)行權(quán)利要求1至7中任意一項(xiàng)所述的數(shù)據(jù)處理方法。