[發明專利]一種數據處理的方法、裝置、設備及計算機可讀存儲介質

在審

• 申請號: 202211042116.2
• 申請日: 2022-08-29
• 公開（公告）號: CN115408347A
• 公開（公告）日: 2022-11-29
• 發明（設計）人: 李庶人
• 申請（專利權）人: 浪潮商用機器有限公司
• 主分類號: G06F16/172
• 分類號: G06F16/172;G06F16/18;G06F16/22;G06F16/25;G06F9/445
• 代理公司: 北京集佳知識產權代理有限公司 11227
• 代理人: 姚瑩麗

本申請公開了一種數據處理的方法，涉及計算機技術領域，該方法包括：獲取配置信息；其中，所述配置信息包括多個數據文件的下載路徑；調用數據處理腳本輪詢所述配置信息中的下載路徑，從所述下載路徑中下載待處理的數據文件；調用數據庫所提供的數據加載工具，根據預先編寫的控制文件將所述數據文件直接存儲至數據庫中。該方法可以大大提高將大容量文本數據存儲至數據庫的效率，以及可以降低所耗時間，提升了數據處理的時效性和目標業務系統客戶的滿意度。本申請還提供一種數據處理的裝置、設備及計算機可讀存儲介質，具有上述有益效果。

技術領域

本申請涉及計算機技術領域，特別涉及一種數據處理的方法、裝置、設備及計算機可讀存儲介質。

背景技術

隨著以人工智能、大數據為代表的新型基礎設施建設加速發展，企業組織更深切地意識到數據是新時代最為關鍵的生產要素之一，企業組織通過建設數據平臺，來讓數據像水資源一樣在企業組織內外部流動。數據平臺搭建的整體架構通常有以下幾個部分：數據采集、數據集成、數據存儲、數據共享、數據分析、數據展現、數據訪問等。數據集成是將分布的、異構數據源中的數據，如關系數據、平面數據文件等抽取到臨時中間層后進行清洗、轉換、集成，最后加載到數據倉庫或者數據集市中，成為聯機分析處理、數據挖掘的基礎。同時也需要建立統一的數據交換平臺，來為不同的外部業務相關系統提供數據交換方法。其中，卸數(將數據卸載成文件)也是一個重要的方法，通過文件流傳輸協議發送給外部業務相關系統，這些文件需要批量導入目標系統數據庫，并且進行相關業務邏輯轉換，才能變成可用數據。

數據平臺的數據采集、集成通常都是在日終通過批量作業完成，跑批完成以后才能通過數據交換平臺的批量任務下發數據給目標業務系統，現有技術中，對數據的處理是通過使用面向對象程序設計語言編寫工具實現的，在對數據文本進行處理時，需要將數據文本的每一行進行讀取，對應的拼接成每一個T-SQL(Transact-SQL)語句，再將T-SQL語句插入到數據庫中才能將數據導入到數據庫中，通過這種方式對不同的數據文本需要編寫對應的T-SQL語句對其進行處理，從而對于大容量或者比較復雜的數據進行處理的時候效率低，處理速度慢，會影響目標業務系統的時效性。因此，提高對數據處理的效率問題是領域技術人員亟需解決的問題。

發明內容

本申請的目的是提供一種數據處理的方法、裝置、設備及計算機可讀存儲介質，該方法可以大大提高將大容量文本數據存儲至數據庫的效率，以及可以降低所耗時間，提升了數據處理的時效性和目標業務系統客戶的滿意度。

為實現上述目的，本申請提供了一種數據處理的方法，其具體方案如下：

獲取配置信息；其中，所述配置信息包括多個數據文件的下載路徑；

調用數據處理腳本輪詢所述配置信息中的下載路徑，從所述下載路徑中下載待處理的數據文件；

調用數據庫所提供的數據加載工具，根據預先編寫的控制文件將所述數據文件直接存儲至數據庫中。

可選地，所述根據預先編寫的控制文件將所述數據文件直接存儲至數據庫中，包括：

利用所述控制文件將所述數據文件的字段和表的數據對應的存儲至所述數據庫的字段和表中。

可選地，所述從所述下載路徑中下載待處理的數據文件，包括：

在預設下載時間段從所述下載路徑中下載所述待處理的數據文件。

可選地，所述配置信息還包括預設時間范圍，相應的，從所述下載路徑中下載所述數據文件之后，還包括：

判斷在所述預設時間范圍內是否存在下載失敗的目標數據文件；

若在所述預設時間范圍內存在下載失敗的目標數據文件，則重新從所述目標數據文件的下載路徑下載所述目標數據文件。