[發明專利]基于多維關聯字段的數據缺失預測與異常修正方法和裝置

在審

• 申請號: 202211429366.1
• 申請日: 2022-11-15
• 公開（公告）號: CN116431618A
• 公開（公告）日: 2023-07-14
• 發明（設計）人: 田繼陽;王馭;楊林;甘江彬;張邦華;徐兢一
• 申請（專利權）人: 安徽省征信股份有限公司
• 主分類號: G06F16/215
• 分類號: G06F16/215;G06F16/22;G06F18/2433;G06F18/214;G06N20/00
• 代理公司: 合肥佰耀騰興知識產權代理事務所(普通合伙) 34276
• 代理人: 黃李軍

1.基于多維關聯字段的數據缺失預測與異常修正方法，其特征在于，包括以下步驟：

1.數據的輸入，從數據庫中讀取業務數據，并將數據庫中的數據預寬表的形式輸入到裝置中；

2.數據完整度判斷，對數據寬表中的數據安裝列索引{a₁,a₂,a₃,a₄,···,a_i}遍歷信息{x₁,x₂,x₃,x₄,···,x_j}中的空缺值，判斷數據完整度，將樣本分為：

a.信息缺失維度2的樣本，由于缺失較多、不能有效地填充，將對其進行清除；

b.信息缺失維度≤2的樣本，滿足本模塊的使用條件，可以進行數據填充；

c.無信息缺失的樣本，不需要進行填充；

3.數據的填充，調用數據填充模型，并將一維缺失的x_j對應一個填充模型，因此填充模型也有{F₁,F₂,F₃,F₄,···,F_j}；

4.數據的輸出，經過據缺失的自動填補模塊處理的數據樣本，會輸出為已經填補后的完整數據，和缺失信息維度2而被舍棄的樣本；

5.完整數據的再次輸入，將上一模塊輸出的完整數據作為這一模塊的輸入，輸入的數據以寬表的形式，以企業、用戶為單位作為列索引{a₁,a₂,a₃,a₄,···,a_i}，i為樣本容量，統計的企業、用戶信息為行索引{x₁,x₂,x₃,x₄,···,x_j}，j為信息維度；

6.異常值的判斷，調用異常值判斷模型，異常值判斷模型是模型訓練模塊的輸出，對一維x_j的判斷對應一個判斷模型，因此判斷模型也有{J₁,J₂,J₃,J₄,···,J_j}，將樣本分為：

a.異常信息維度2的樣本，由于異常較多、不能有效地填充，將對其進行清除；

b.異常信息維度≤2的樣本，滿足本模塊的使用條件，可以進行數據修正；

c.無異常信息的樣本，不需要進行修正；

7.數據的修正，調用數據修正模型，數據修正模型和數據填充模型類似，用預測值對異常的信息進行替換，一維異常的x_j對應一個修正模型，因此修正模型也有{F₁,F₂,F₃,F₄,···,F_j}；

8.修正數據的輸出，經過數據異常的判斷與修正模塊處理的數據樣本，會輸出為已經經過修正后的正確數據，和異常信息維度2而被舍棄的樣本。