[發明專利]數據算法模型檢驗方法、系統及計算機存儲介質

有效

• 申請號: 202110279815.8
• 申請日: 2021-03-16
• 公開（公告）號: CN112989606B
• 公開（公告）日: 2023-06-16
• 發明（設計）人: 鹿才軍;陳湘芳
• 申請（專利權）人: 上海哥瑞利軟件股份有限公司
• 主分類號: G06F18/21
• 分類號: G06F18/21;G06F18/2135;G06F18/23;G06F18/15
• 代理公司: 上海政濟知識產權代理事務所(普通合伙) 31479
• 代理人: 輦甲武

本發明提供一種數據算法模型檢驗方法、系統及計算機存儲介質。該數據算法模型檢驗方法，其特征在于：對模型訓練數據進行了預處理、主成分分析與特征關聯，獲得關鍵特征，然后統計數據分布以及關鍵特征指標，確定驗證策略模型并且劃分訓練集和驗證集，根據場景、數據分布、算法等，確定具體的打分策略，本發明的導入數據即可打分，克服了目前粗暴隨機分配驗證集產生算力浪費的缺陷，克服了必須由研發人員透過分析算法，樣本分布特征值觀感受，并針對性的實現對應的檢驗方案的缺陷。

技術領域

本發明涉及數據分析技術領域，特別涉及數據算法模型檢驗方法、系統及計算機存儲介質。

背景技術

在數據挖掘或機器學習領域，通常會通過一系列算法構建分析模型，來對數據的關聯關系及預測后續數據等一些問題進行解決。在多數情況下需要對構建的建模進行檢驗，確定預處理和算法模型準確程度，受樣本數據分布、算法、問題域不同，需要不同檢驗方案來檢驗；檢驗方法的差異會直接影響問題的解決；遇到樣本量較少或較多，或輸入特征較多時，對驗證的準確性和計算性能都帶來一定的挑戰。

目前的數據檢驗方法對于數據模型的檢驗存在一些不足：1)當數據集過大時有很多的同質化樣本，用于數據數據檢驗，粗暴隨機分配驗證集，產生算力浪費，檢驗結果可行度降低；2)必須由研發人員透過分析算法，樣本分布特征值觀感受，并針對性的實現對應的檢驗方案。3)人為有一定有主觀因素和能力經驗局限，可能錯過最有效的解決問題的方案。

發明內容

本發明是為了解決上述問題而進行的，目的在于提供一種數據算法模型檢驗方法、系統及計算機存儲介質，以實現準確、高效、無需硬編碼的檢驗。

本發明主要針對一些建立的線性模型、離散模型等的檢驗，本發明的方案暫不考慮涉及圖片分析、視頻分析等比較高級復雜模型檢驗。本發明采用如下技術方案：

本發明提供一種數據算法模型檢驗方法，具有這樣的特征，包括：

步驟A-1，輸入待驗模型在建模時所使用的訓練數據，對輸入的訓練數據進行預處理；

步驟A-2，對預處理后得到數據集進行主成分分析及特征關聯，獲得關鍵特征；

步驟A-3，對關鍵特征進行統計，生成重點特征池，并根據樣本空間參數及樣本特征分布，確定驗證策略模型；

步驟A-4，根據樣本空間參數、樣本特征分布以及確定的驗證策略模型，將預處理后的數據集劃分為訓練集和驗證集；

步驟A-5，將步驟A-4得到的訓練集輸入到待驗模型在建模時所使用的算法中進行模型訓練，獲得訓練后的模型；

步驟A-6，將步驟A-5得到的訓練后的模型和步驟A-4得到的驗證集作為輸入項，輸入到驗證策略模型中進行驗證打分，獲得打分結果，該打分結果即作為待驗模型的準確度檢驗結果。

在本發明提供的數據算法模型檢驗方法中，其特征在于，還包括外部應用調用模型預測的步驟：

步驟B-1，外部調用系統發起數據預測，本檢驗系統檢查模型預測算法被注入后進行與步驟A-1同樣的預處理；

步驟B-2，將預處理后得到的數據通過重點特征池進行過濾：當數據特征不符合重點特征池的范圍內時，則通知外部調用系統，數據不符合；當該數據特征符合重點特征池的范圍內時，進入步驟B-3；

步驟B-3，將數據發送到模型中，進行預測，當產生預測結果時，將結果通知到外部調用系統。

在本發明提供的數據算法模型檢驗方法中，還可以具有這樣的特征：其中，步驟A-2中主成分分析中，默認取第一主成分。

在本發明提供的數據算法模型檢驗方法中，還可以具有這樣的特征：其中，步驟A-2中主成分分析中，計算主成分相關關鍵特征排名，相關系數大于0.5的特征都視為關鍵特征。