[發(fā)明專(zhuān)利]一種數(shù)據(jù)處理的方法、裝置、設(shè)備及計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)

在審

• 申請(qǐng)?zhí)枺?/td>: 202211042116.2
• 申請(qǐng)日: 2022-08-29
• 公開(kāi)（公告）號(hào): CN115408347A
• 公開(kāi)（公告）日: 2022-11-29
• 發(fā)明（設(shè)計(jì)）人: 李庶人
• 申請(qǐng)（專(zhuān)利權(quán)）人: 浪潮商用機(jī)器有限公司
• 主分類(lèi)號(hào): G06F16/172
• 分類(lèi)號(hào): G06F16/172;G06F16/18;G06F16/22;G06F16/25;G06F9/445
• 代理公司: 北京集佳知識(shí)產(chǎn)權(quán)代理有限公司 11227
• 代理人: 姚瑩麗

1.一種數(shù)據(jù)處理方法，其特征在于，包括：

獲取配置信息；其中，所述配置信息包括多個(gè)數(shù)據(jù)文件的下載路徑；

調(diào)用數(shù)據(jù)處理腳本輪詢(xún)所述配置信息中的下載路徑，從所述下載路徑中下載待處理的數(shù)據(jù)文件；

調(diào)用數(shù)據(jù)庫(kù)所提供的數(shù)據(jù)加載工具，根據(jù)預(yù)先編寫(xiě)的控制文件將所述數(shù)據(jù)文件直接存儲(chǔ)至數(shù)據(jù)庫(kù)中。

2.根據(jù)權(quán)利要求1所述數(shù)據(jù)處理方法，其特征在于，所述根據(jù)預(yù)先編寫(xiě)的控制文件將所述數(shù)據(jù)文件直接存儲(chǔ)至數(shù)據(jù)庫(kù)中，包括：

利用所述控制文件將所述數(shù)據(jù)文件的字段和表的數(shù)據(jù)對(duì)應(yīng)的存儲(chǔ)至所述數(shù)據(jù)庫(kù)的字段和表中。

3.根據(jù)權(quán)利要求1所述數(shù)據(jù)處理方法，其特征在于，所述從所述下載路徑中下載待處理的數(shù)據(jù)文件，包括：

在預(yù)設(shè)下載時(shí)間段從所述下載路徑中下載所述待處理的數(shù)據(jù)文件。

4.根據(jù)權(quán)利要求1所述數(shù)據(jù)處理方法，其特征在于，所述配置信息還包括預(yù)設(shè)時(shí)間范圍，相應(yīng)的，從所述下載路徑中下載所述數(shù)據(jù)文件之后，還包括：

判斷在所述預(yù)設(shè)時(shí)間范圍內(nèi)是否存在下載失敗的目標(biāo)數(shù)據(jù)文件；

若在所述預(yù)設(shè)時(shí)間范圍內(nèi)存在下載失敗的目標(biāo)數(shù)據(jù)文件，則重新從所述目標(biāo)數(shù)據(jù)文件的下載路徑下載所述目標(biāo)數(shù)據(jù)文件。

5.根據(jù)權(quán)利要求4所述數(shù)據(jù)處理方法，其特征在于，所述配置信息還包括日志路徑，相應(yīng)的，所述若在所述預(yù)設(shè)時(shí)間范圍內(nèi)存在下載失敗的目標(biāo)數(shù)據(jù)文件，還包括：

將所述目標(biāo)數(shù)據(jù)文件對(duì)應(yīng)的下載錯(cuò)誤信息添加至所述日志路徑中的日志文件中。

6.根據(jù)權(quán)利要求1所述數(shù)據(jù)處理方法，其特征在于，所述根據(jù)預(yù)先編寫(xiě)的控制文件將所述數(shù)據(jù)文件直接存儲(chǔ)至數(shù)據(jù)庫(kù)中之前，還包括：

判斷所述數(shù)據(jù)庫(kù)中是否已存在所述數(shù)據(jù)文件；

若否，則執(zhí)行根據(jù)預(yù)先編寫(xiě)的控制文件將所述數(shù)據(jù)文件直接存儲(chǔ)至數(shù)據(jù)庫(kù)中的步驟。

7.根據(jù)權(quán)利要求1至6中任一項(xiàng)所述數(shù)據(jù)處理方法，其特征在于，所述根據(jù)預(yù)先編寫(xiě)的控制文件將所述數(shù)據(jù)文件直接存儲(chǔ)至數(shù)據(jù)庫(kù)中之后，還包括：

在所述數(shù)據(jù)庫(kù)內(nèi)部調(diào)用所述數(shù)據(jù)文件的存儲(chǔ)過(guò)程，根據(jù)目標(biāo)系統(tǒng)的業(yè)務(wù)邏輯對(duì)所述數(shù)據(jù)文件進(jìn)行加工處理。

8.一種數(shù)據(jù)處理的裝置，其特征在于，包括：

獲取模塊，用于獲取配置信息；其中，所述配置信息包括多個(gè)數(shù)據(jù)文件的下載路徑；

下載模塊，用于調(diào)用數(shù)據(jù)處理腳本輪詢(xún)所述配置信息中的下載路徑，從所述下載路徑中下載待處理的數(shù)據(jù)文件；

存儲(chǔ)模塊，用于調(diào)用數(shù)據(jù)庫(kù)所提供的數(shù)據(jù)加載工具，根據(jù)預(yù)先編寫(xiě)的控制文件將所述數(shù)據(jù)文件直接存儲(chǔ)至數(shù)據(jù)庫(kù)中。

9.一種數(shù)據(jù)存儲(chǔ)與處理的設(shè)備，其特征在于，包括：

存儲(chǔ)器，用于存儲(chǔ)計(jì)算機(jī)程序；

處理器，用于執(zhí)行所述計(jì)算機(jī)程序是實(shí)現(xiàn)如權(quán)利要求1至7任一項(xiàng)所述的數(shù)據(jù)處理的方法的步驟。

10.一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其特征在于，所述計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)上存儲(chǔ)有計(jì)算機(jī)程序，所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)如權(quán)利要求1至7任一項(xiàng)所述的數(shù)據(jù)處理的方法的步驟。