[發明專利]數據指標篩選方法、裝置、計算機設備及存儲介質

有效

• 申請號: 202110037835.4
• 申請日: 2021-01-12
• 公開（公告）號: CN112818028B
• 公開（公告）日: 2021-09-17
• 發明（設計）人: 牛犇;張莉;陳弘;吳志成
• 申請（專利權）人: 平安科技（深圳）有限公司
• 主分類號: G06F16/2458
• 分類號: G06F16/2458;G06N3/02;G06N3/08
• 代理公司: 深圳市賽恩倍吉知識產權代理有限公司 44334
• 代理人: 楊毅玲;劉麗華

本發明涉及人工智能技術領域，提供一種數據指標篩選方法、裝置、計算機設備及存儲介質，包括：根據數據分布對對應數據指標下的用戶數據進行標準化處理；根據標準化處理得到的標準數據生成每個用戶的標準數據向量，提取每個用戶的標準數據向量中的多個指標特征數據；根據多個指標特征數據的相關性指標篩選多個第一關鍵指標特征數據；采用最小絕對收縮和選擇算子提取多個第二關鍵指標特征數據及每個第二關鍵指標特征數據的指標權重；根據指標權重，使用蒙特卡洛模擬法多次模擬訓練用戶等級預測模型，根據模擬訓練對應的預測結果從第二關鍵指標特征數據中篩選出多個目標關鍵指標特征數據。本發明能夠篩選出最優的數據指標，數據指標的篩選效率高。

技術領域

本發明涉及人工智能技術領域，具體涉及一種數據指標篩選方法、裝置、計算機設備及存儲介質。

背景技術

在面對大量的數據指標時，人工篩選或傳統的相關性分析篩選法，容易漏選飽和度低但非常重要的數據指標，數據指標的選擇錯誤會導致后續構建的系統或者模型的效果不準確。

尤其是當數據指標呈幾何倍數式的增長時，人工篩選或傳統的相關性分析是很難全部發現大量數據指標之間的潛在關聯性，篩選出的數據指標中夾雜著較多的無用的數據指標，不僅不會提升模型的效果，篩選出的數據指標的數量較大，還易導致模型的構建效率十分低下。

發明內容

鑒于以上內容，有必要提出一種數據指標篩選方法、裝置、計算機設備及存儲介質，能夠提高數據指標的篩選效率，且篩選出的數據指標有助于提高模型的效果。

本發明的第一方面提供一種數據指標篩選方法，所述方法包括：

確定每個數據指標下的多個用戶數據的數據分布，并根據所述數據分布對對應數據指標下的多個用戶數據進行標準化處理；

根據標準化處理得到的標準數據生成每個用戶的標準數據向量，并對每個用戶的標準數據向量進行特征提取，得到多個指標特征數據；

計算所述多個指標特征數據的相關性指標，根據所述相關性指標從所述多個指標特征數據中篩選出多個第一關鍵指標特征數據；

采用最小絕對收縮和選擇算子基于所述多個第一關鍵指標特征數據提取出多個第二關鍵指標特征數據及每個第二關鍵指標特征數據的指標權重；

根據每個第二關鍵指標特征數據的指標權重，使用蒙特卡洛模擬法多次模擬訓練用戶等級預測模型，并根據模擬訓練對應的預測結果從所述多個第二關鍵指標特征數據中篩選出多個目標關鍵指標特征數據。

在一個可選的實施例中，所述計算所述多個指標特征數據的相關性指標，根據所述相關性指標從所述多個指標特征數據中篩選出多個第一關鍵指標特征數據包括：

計算所述多個指標特征數據的群體穩定性指標值和信息價值；

根據所述群體穩定性指標值和所述信息價值從所述多個指標特征數據中篩選出多個第一關鍵指標特征數據。

在一個可選的實施例中，所述根據所述群體穩定性指標值和所述信息價值從所述多個指標特征數據中篩選出多個第一關鍵指標特征數據包括：

獲取所述多個指標特征數據中小于預設群體穩定性指標閾值的群體穩定性指標值對應的第一候選指標特征數據；

對所述第一候選指標特征數據的信息價值進行排序；

獲取排序在前預設數量的信息價值對應的第二候選指標特征數據；

確定所述第二候選指標特征數據為所述多個第一關鍵指標特征數據。

在一個可選的實施例中，所述根據每個第二關鍵指標特征數據的指標權重，使用蒙特卡洛模擬法多次模擬訓練用戶等級預測模型，并根據模擬訓練對應的預測結果從所述多個第二關鍵指標特征數據中篩選出多個目標關鍵指標特征數據包括：