[發(fā)明專利]數(shù)據(jù)處理方法、裝置、計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)及處理器

在審

• 申請(qǐng)?zhí)枺?/td>: 202110469704.3
• 申請(qǐng)日: 2021-04-28
• 公開（公告）號(hào): CN113190603A
• 公開（公告）日: 2021-07-30
• 發(fā)明（設(shè)計(jì)）人: 張?zhí)m英;江黎楓;張海寧;續(xù)武強(qiáng);施妍萍;許璐;王璐;王坤鋒
• 申請(qǐng)（專利權(quán)）人: 中國(guó)郵政儲(chǔ)蓄銀行股份有限公司
• 主分類號(hào): G06F16/25
• 分類號(hào): G06F16/25
• 代理公司: 北京康信知識(shí)產(chǎn)權(quán)代理有限責(zé)任公司 11240
• 代理人: 曾紅芳

本發(fā)明公開了一種數(shù)據(jù)處理方法、裝置、計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)及處理器。其中，該方法包括：獲取數(shù)據(jù)配置信息；將數(shù)據(jù)配置信息加載至Shell腳本，并執(zhí)行Shell腳本的第一預(yù)設(shè)指令，以連接至少一個(gè)分庫(kù)數(shù)據(jù)庫(kù)；從至少一個(gè)分庫(kù)數(shù)據(jù)庫(kù)抽取數(shù)據(jù)，并寫入到數(shù)據(jù)分片文件中。本發(fā)明解決了相關(guān)技術(shù)中采用應(yīng)用程序直連接數(shù)據(jù)庫(kù)方式抽取數(shù)據(jù)，容易對(duì)應(yīng)用性能和數(shù)據(jù)庫(kù)性能產(chǎn)生不利影響的技術(shù)問(wèn)題。

技術(shù)領(lǐng)域

本發(fā)明涉及數(shù)據(jù)處理技術(shù)領(lǐng)域，具體而言，涉及一種數(shù)據(jù)處理方法、裝置、計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)及處理器。

背景技術(shù)

針對(duì)業(yè)務(wù)水平分庫(kù)的數(shù)據(jù)有合并匯總分析需求時(shí)，通常采用的處理方式有兩種：一種是在應(yīng)用程序中利用分庫(kù)中間件(例如，mycat)直接操作分庫(kù)進(jìn)行數(shù)據(jù)合并匯總分析；一種是采用程序?qū)⒎謳?kù)數(shù)據(jù)離線抽取到大數(shù)據(jù)平臺(tái)進(jìn)行離線計(jì)算分析。此兩種方法均采用應(yīng)用程序直連接數(shù)據(jù)庫(kù)方法抽取數(shù)據(jù)，對(duì)應(yīng)用性能和數(shù)據(jù)庫(kù)性能均有一定要求和影響，并且抽取的數(shù)據(jù)庫(kù)表發(fā)生變更時(shí)需要改動(dòng)應(yīng)用程序重新發(fā)布。

另外，現(xiàn)有技術(shù)通常采用Java語(yǔ)言開發(fā)批量程序，通過(guò)JDBC連接方式查詢數(shù)據(jù)庫(kù)數(shù)據(jù)，再將數(shù)據(jù)寫入到數(shù)據(jù)文件中。此種方法對(duì)Java應(yīng)用的內(nèi)存使用損耗較高，會(huì)間接影響其他批量程序執(zhí)行。并且，一般情況Java批量應(yīng)用是與數(shù)據(jù)庫(kù)主庫(kù)連接，抽取業(yè)務(wù)數(shù)據(jù)過(guò)程中，會(huì)對(duì)數(shù)據(jù)庫(kù)主庫(kù)產(chǎn)生一定性能壓力，壓力過(guò)大可能會(huì)影響正常業(yè)務(wù)處理。另外，使用Java應(yīng)用頻繁讀寫數(shù)據(jù)文件，I/O讀寫效率不高。

針對(duì)上述的問(wèn)題，目前尚未提出有效的解決方案。

發(fā)明內(nèi)容

本發(fā)明實(shí)施例提供了一種數(shù)據(jù)處理方法、裝置、計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)及處理器，以至少解決相關(guān)技術(shù)中采用應(yīng)用程序直連接數(shù)據(jù)庫(kù)方式抽取數(shù)據(jù)，容易對(duì)應(yīng)用性能和數(shù)據(jù)庫(kù)性能產(chǎn)生不利影響的技術(shù)問(wèn)題。

根據(jù)本發(fā)明實(shí)施例的一個(gè)方面，提供了一種數(shù)據(jù)處理方法，包括：獲取數(shù)據(jù)配置信息；將所述數(shù)據(jù)配置信息加載至Shell腳本，并執(zhí)行所述Shell腳本的第一預(yù)設(shè)指令，以連接至少一個(gè)分庫(kù)數(shù)據(jù)庫(kù)；從所述至少一個(gè)分庫(kù)數(shù)據(jù)庫(kù)抽取數(shù)據(jù)，并寫入到數(shù)據(jù)分片文件中。

可選地，在獲取數(shù)據(jù)配置信息之前，還包括：接收查詢配置指令；依據(jù)所述查詢配置指令，從抽數(shù)配置庫(kù)中加載出所述數(shù)據(jù)配置信息，其中，所述數(shù)據(jù)配置信息包括以下至少之一：數(shù)據(jù)庫(kù)名、數(shù)據(jù)表名、指定抽取sql、數(shù)據(jù)抽取時(shí)間、每個(gè)文件允許數(shù)據(jù)量。

可選地，從所述至少一個(gè)分庫(kù)數(shù)據(jù)庫(kù)抽取數(shù)據(jù)，并寫入到數(shù)據(jù)分片文件中，包括：調(diào)用所述Shell腳本；執(zhí)行所述Shell腳本的第二預(yù)設(shè)指令，將所述至少一個(gè)分庫(kù)數(shù)據(jù)庫(kù)抽取的數(shù)據(jù)寫入到所述數(shù)據(jù)分片文件中。

可選地，在從所述至少一個(gè)分庫(kù)數(shù)據(jù)庫(kù)抽取數(shù)據(jù)，并寫入到數(shù)據(jù)分片文件中之后，還包括：對(duì)所述數(shù)據(jù)分片文件進(jìn)行預(yù)設(shè)處理操作，其中，所述預(yù)設(shè)處理操作至少包括：匯總、格式化、切割。

可選地，對(duì)所述數(shù)據(jù)分片文件進(jìn)行預(yù)設(shè)處理操作，包括：執(zhí)行所述Shell腳本的第三預(yù)設(shè)指令，將所述數(shù)據(jù)分片文件進(jìn)行匯總，得到原始數(shù)據(jù)文件；執(zhí)行所述Shell腳本的第四預(yù)設(shè)指令，將所述原始數(shù)據(jù)文件進(jìn)行格式化處理，得到格式化文件；執(zhí)行所述Shell腳本的第五預(yù)設(shè)指令，將所述格式化文件進(jìn)行切割處理，得到目標(biāo)文件，其中，所述目標(biāo)文件為經(jīng)切割后達(dá)到預(yù)設(shè)配置大小的文件。

可選地，在執(zhí)行所述Shell腳本的第五預(yù)設(shè)指令，將所述格式化文件進(jìn)行切割處理，得到目標(biāo)文件的同時(shí)，還包括：生成所述目標(biāo)文件的附屬校驗(yàn)文件和檢查文件。

可選地，在對(duì)所述數(shù)據(jù)分片文件進(jìn)行預(yù)設(shè)處理操作之后，還包括：獲取所述目標(biāo)文件的文件目錄；依據(jù)所述目標(biāo)文件的文件目錄，并調(diào)用應(yīng)用程序接口，將所述目標(biāo)文件上傳至文件存儲(chǔ)系統(tǒng)。