[發(fā)明專利]數(shù)據(jù)導入方法及裝置

在審

• 申請?zhí)枺?/td>: 202011031802.0
• 申請日: 2020-09-27
• 公開（公告）號: CN112100135A
• 公開（公告）日: 2020-12-18
• 發(fā)明（設計）人: 蘇忠鈺;袁進威;夏成揚
• 申請（專利權）人: 中國建設銀行股份有限公司
• 主分類號: G06F16/16
• 分類號: G06F16/16;G06F16/172;H04L29/08
• 代理公司: 北京三友知識產權代理有限公司 11127
• 代理人: 賈磊;劉飛

本申請?zhí)峁┝艘环N數(shù)據(jù)導入方法及裝置，其中，該方法包括：接收前端發(fā)送的目標數(shù)據(jù)文件，該目標數(shù)據(jù)文件為該前端判定的未超出數(shù)據(jù)量限制閾值的數(shù)據(jù)文件；再次判斷所述目標數(shù)據(jù)文件是否超出所述數(shù)據(jù)量限制閾值，若否，則將所述目標數(shù)據(jù)文件上傳至服務器；將服務器的所述目標數(shù)據(jù)文件導入目標數(shù)據(jù)庫。本申請能夠提高數(shù)據(jù)導入的可靠性，進而能夠提高系統(tǒng)運行的可靠性。

技術領域

本申請涉及數(shù)據(jù)處理技術領域，尤其涉及一種數(shù)據(jù)導入方法及裝置。

背景技術

隨著金融領域的發(fā)展，對金融業(yè)務處理過程中的數(shù)據(jù)量和數(shù)據(jù)可靠性要求越來高，因此，需要有大批量體外數(shù)據(jù)(非其它數(shù)據(jù)庫中的數(shù)據(jù))導入ORACLE數(shù)據(jù)庫。

如果采用同步導入的方式導入數(shù)據(jù)，不論是采用流式處理數(shù)據(jù)，還是將數(shù)據(jù)全部加載到內存后同步插入數(shù)據(jù)庫，都非常消耗資源，很可能導致CPU沖高，內存溢出，致使其它功能不可用，甚至服務器宕機。

發(fā)明內容

針對現(xiàn)有技術中的問題，本申請?zhí)岢隽艘环N數(shù)據(jù)導入方法及裝置，能夠提高數(shù)據(jù)導入的可靠性，進而能夠提高系統(tǒng)運行的可靠性。

為了解決上述技術問題，本申請?zhí)峁┮韵录夹g方案：

第一方面，本申請?zhí)峁┮环N數(shù)據(jù)導入方法，包括：

接收前端發(fā)送的目標數(shù)據(jù)文件，該目標數(shù)據(jù)文件為該前端判定的未超出數(shù)據(jù)量限制閾值的數(shù)據(jù)文件；

再次判斷所述目標數(shù)據(jù)文件是否超出所述數(shù)據(jù)量限制閾值，若否，則將所述目標數(shù)據(jù)文件上傳至服務器；

將服務器的所述目標數(shù)據(jù)文件導入目標數(shù)據(jù)庫。

進一步地，所述接收前端發(fā)送的目標數(shù)據(jù)文件，包括：

基于預設的數(shù)據(jù)導入狀態(tài)表，判斷當前的數(shù)據(jù)導入狀態(tài)是否為已導入狀態(tài)，若是，則接收所述前端發(fā)送的目標數(shù)據(jù)文件；

相對應的，在所述將所述目標數(shù)據(jù)文件上傳至服務器之后，還包括：

將所述數(shù)據(jù)導入狀態(tài)變更為待導入狀態(tài)；

將服務器的所述目標數(shù)據(jù)文件導入目標數(shù)據(jù)庫，并在導入完成后將所述數(shù)據(jù)導入狀態(tài)變更為已導入狀態(tài)。

進一步地，所述的數(shù)據(jù)導入方法，還包括：

將所述數(shù)據(jù)導入狀態(tài)輸出至所述前端并顯示。

進一步地，所述的數(shù)據(jù)導入方法，還包括：

若所述數(shù)據(jù)導入狀態(tài)發(fā)生變更，則將變更后的數(shù)據(jù)導入狀態(tài)輸出至所述前端并顯示。

進一步地，所述將服務器的所述目標數(shù)據(jù)文件導入目標數(shù)據(jù)庫，包括：

若當前系統(tǒng)時間達到預設的導入時間，則將服務器的所述目標數(shù)據(jù)文件導入目標數(shù)據(jù)庫。

進一步地，在所述將服務器的所述目標數(shù)據(jù)文件導入目標數(shù)據(jù)庫之后，還包括：

刪除服務器的目標數(shù)據(jù)文件。

進一步地，所述將服務器的所述目標數(shù)據(jù)文件導入目標數(shù)據(jù)庫，還包括：

將所述目標數(shù)據(jù)文件中導入所述目標數(shù)據(jù)庫失敗的數(shù)據(jù)，存儲在預設的數(shù)據(jù)導入失敗文件中。

第二方面，本申請?zhí)峁┮环N數(shù)據(jù)導入裝置，包括：

接收模塊，用于接收前端發(fā)送的目標數(shù)據(jù)文件，該目標數(shù)據(jù)文件為該前端判定的未超出數(shù)據(jù)量限制閾值的數(shù)據(jù)文件；

判斷模塊，用于再次判斷所述目標數(shù)據(jù)文件是否超出所述數(shù)據(jù)量限制閾值，若否，則將所述目標數(shù)據(jù)文件上傳至服務器；

導入模塊，用于將服務器的所述目標數(shù)據(jù)文件導入目標數(shù)據(jù)庫。