[發(fā)明專利]一種異常導入數(shù)據(jù)的處理方法、裝置及設備

在審

• 申請?zhí)枺?/td>: 202011637145.4
• 申請日: 2020-12-31
• 公開（公告）號: CN112632132A
• 公開（公告）日: 2021-04-09
• 發(fā)明（設計）人: 謝南翔;張巖;黃宇昕;王元文
• 申請（專利權）人: 中國農業(yè)銀行股份有限公司
• 主分類號: G06F16/2455
• 分類號: G06F16/2455;G06F16/242;G06F16/25;G06F16/28
• 代理公司: 北京集佳知識產權代理有限公司 11227
• 代理人: 郭化雨

1.一種異常導入數(shù)據(jù)的處理方法，其特征在于，所述方法包括：

獲取待導入數(shù)據(jù)，判斷所述待導入數(shù)據(jù)是否滿足異常條件；所述異常條件包括所述待導入數(shù)據(jù)的數(shù)據(jù)字段數(shù)量不符合目標字段數(shù)量和/或所述待導入數(shù)據(jù)的字段格式不符合預設字段格式；

若所述待導入數(shù)據(jù)滿足異常條件，將所述待導入數(shù)據(jù)確定為待排查異常數(shù)據(jù)，將所述待排查異常數(shù)據(jù)寫入異常數(shù)據(jù)表中；

從所述異常數(shù)據(jù)表中選取目標異常數(shù)據(jù)，將所述目標異常數(shù)據(jù)導入目標數(shù)據(jù)庫；

若導入成功，則將所述目標異常數(shù)據(jù)的異常問題確定為數(shù)據(jù)異常問題；

若導入不成功，則將所述目標異常數(shù)據(jù)的異常問題確定為入庫異常問題。

2.根據(jù)權利要求1所述的方法，其特征在于，所述將所述待排查異常數(shù)據(jù)寫入異常數(shù)據(jù)表中，包括：

獲取所述待排查異常數(shù)據(jù)所要導入的數(shù)據(jù)表的目標表名和所述待排查異常數(shù)據(jù)所要導入目標數(shù)據(jù)庫的預定導入時間；

獲取所述待排查異常數(shù)據(jù)的列信息、數(shù)據(jù)信息和異常信息，將所述列信息、所述數(shù)據(jù)信息和所述異常信息組成目標值字段；

將所述目標表名、所述目標導入時間和所述目標值字段寫入所述異常數(shù)據(jù)表中。

3.根據(jù)權利要求2所述的方法，其特征在于，所述從所述異常數(shù)據(jù)表中選取目標異常數(shù)據(jù)，包括：

選取目標數(shù)據(jù)庫中的數(shù)據(jù)表作為待寫入數(shù)據(jù)表；

獲取所述待寫入數(shù)據(jù)表的表名作為待寫入表名；獲取所述待寫入數(shù)據(jù)表的日期信息作為待寫入日期；

根據(jù)所述待寫入表名和所述待寫入日期，在所述異常數(shù)據(jù)表中查詢是否具有對應的待排查異常數(shù)據(jù)；

若具有，將所述待排查異常數(shù)據(jù)作為目標異常數(shù)據(jù)。

4.根據(jù)權利要求1所述的方法，其特征在于，所述將所述目標異常數(shù)據(jù)導入目標數(shù)據(jù)庫，包括：

獲取所述目標異常數(shù)據(jù)的鍵值數(shù)據(jù)，對所述鍵值數(shù)據(jù)進行拼接，得到目標鍵值數(shù)據(jù)；

將所述目標鍵值數(shù)據(jù)寫入目標數(shù)據(jù)庫。

5.根據(jù)權利要求1所述的方法，其特征在于，在所述獲取待導入數(shù)據(jù)，判斷所述待導入數(shù)據(jù)是否是待排查異常數(shù)據(jù)之前，所述方法還包括：

獲取原始數(shù)據(jù)，對所述原始數(shù)據(jù)進行數(shù)據(jù)聚合和數(shù)據(jù)轉換，得到源數(shù)據(jù)；

從所述源數(shù)據(jù)中選取待導入數(shù)據(jù)。

6.根據(jù)權利要求5所述的方法，其特征在于，在所述獲取源數(shù)據(jù)，對所述原始數(shù)據(jù)進行數(shù)據(jù)聚合和數(shù)據(jù)轉換，得到源數(shù)據(jù)之前，所述方法還包括：

從配置文件中獲取第一數(shù)據(jù)文件的第一文件信息，所述第一文件信息包括第一位置信息和第一數(shù)據(jù)信息；所述第一數(shù)據(jù)文件為儲存原始數(shù)據(jù)的文件；

利用所述第一位置信息查詢所述第一數(shù)據(jù)文件是否存在；

若存在，利用所述第一數(shù)據(jù)信息查詢所述第一數(shù)據(jù)文件中的原始數(shù)據(jù)是否完整；

所述獲取原始數(shù)據(jù)，包括：

若所述第一數(shù)據(jù)文件中的數(shù)據(jù)完整，則將所述第一數(shù)據(jù)文件中的數(shù)據(jù)作為原始數(shù)據(jù)；

從所述第一數(shù)據(jù)文件中獲取原始數(shù)據(jù)。

7.根據(jù)權利要求1所述的方法，其特征在于，在所述獲取待導入數(shù)據(jù)，判斷所述待導入數(shù)據(jù)是否是待排查異常數(shù)據(jù)之前，所述方法還包括：

從配置文件中獲取第二數(shù)據(jù)文件的第二文件信息，所述第二文件信息包括第二位置信息和第二數(shù)據(jù)信息；所述第二數(shù)據(jù)文件為儲存源數(shù)據(jù)的文件；

利用所述第二位置信息查詢所述第二數(shù)據(jù)文件是否存在；

若存在，利用所述第二數(shù)據(jù)信息查詢所述第二數(shù)據(jù)文件中的數(shù)據(jù)是否完整；

所述獲取待導入數(shù)據(jù)，包括：

若所述第二數(shù)據(jù)文件中的數(shù)據(jù)完整，則將所述第二數(shù)據(jù)文件中的數(shù)據(jù)作為源數(shù)據(jù)；

從所述第二數(shù)據(jù)文件中獲取待導入數(shù)據(jù)。