[發明專利]一種過擬合檢測方法及裝置在審
| 申請號： | 201911407853.6 | 申請日： | 2019-12-31 |
| 公開（公告）號： | CN111178544A | 公開（公告）日： | 2020-05-19 |
| 發明（設計）人： | 王嘉偉 | 申請（專利權）人： | 微夢創科網絡科技（中國）有限公司 |
| 主分類號： | G06N20/00 | 分類號： | G06N20/00 |
| 代理公司： | 北京卓嵐智財知識產權代理事務所(特殊普通合伙) 11624 | 代理人： | 郭智 |
| 地址： | 100193 北京市海淀區東北旺西路中關村*** | 國省代碼： | 北京;11 |
| 權利要求書： | 查看更多 | 說明書： | 查看更多 |
| 摘要： | |||
| 搜索關鍵詞： | 一種 擬合 檢測 方法 裝置 | ||
1.一種過擬合檢測方法，其特征在于，所述方法包括：
獲取機器學習模型的數據集；
將所述數據集中的數據點以線性回歸的方式進行擬合，獲得擬合直線；
確定使得所述數據集中的所有數據點與所述擬合直線之間殘差平方和為最小時的擬合系數及擬合常數；
改變擬合系數，獲取擬合系數改變時殘差平方和對應的變化幅度；
根據所述變化幅度確定所述數據集的過擬合系數；
若所述過擬合系數大于擬合系數閾值，則判定所述數據集過擬合。
2.根據權利要求1所述的一種過擬合檢測方法，其特征在于，將所述數據集中的數據點以線性回歸的方式進行擬合，獲得擬合直線，包括：
通過下式對所述數據集中的數據點以線性回歸的方式進行擬合：
Y＝wTX+b，
其中，X是(m*n)的矩陣，代表m個數據點，每個數據點n個維度；Y是m維的向量；擬合系數w是一個n維向量，b為擬合常數；
利用梯度下降法或者最小二乘法確定擬合系數w和擬合常數b。
3.根據權利要求2所述的一種過擬合檢測方法，其特征在于，所述改變擬合系數，獲取擬合系數改變時殘差平方和對應的變化幅度，包括：
確定所述擬合系數w所有分量的平均值u和標準差s；
把擬合系數w的每一個分量分別變化0.1s，獲得殘差平方和對應于每一個分量變化時的變化幅度集。
4.根據權利要求3所述的一種過擬合檢測方法，其特征在于，所述根據所述變化幅度確定所述數據集的過擬合系數，包括：
獲取所述變化幅度集中每一個數字平方和的平均數的算術平方根，作為所述數據集的過擬合系數。
5.根據權利要求1-4之一所述的一種過擬合檢測方法，其特征在于，根據不同行業中數據特點，確定所述過擬合系數閾值。
6.一種過擬合檢測裝置，其特征在于，所述裝置包括：
數據獲取單元，用于獲取機器學習模型的數據集；
擬合單元，用于將所述數據集中的數據點以線性回歸的方式進行擬合，獲得擬合直線；
系數確定單元，用于確定使得所述數據集中的所有數據點與所述擬合直線之間殘差平方和為最小時的擬合系數及擬合常數；
變化幅度確定單元，用于改變擬合系數，獲取擬合系數改變時殘差平方和對應的變化幅度；
過擬合系數確定單元，用于根據所述變化幅度確定所述數據集的過擬合系數；
判定單元，用于若所述過擬合系數大于擬合系數閾值，則判定所述數據集過擬合。
7.根據權利要求6所述的一種過擬合檢測裝置，其特征在于，所述擬合單元具體用于：
通過下式對所述數據集中的數據點以線性回歸的方式進行擬合：
Y＝wTX+b，
其中，X是(m*n)的矩陣，代表m個數據點，每個數據點n個維度；Y是m維的向量；擬合系數w是一個n維向量，b為擬合常數；
利用梯度下降法或者最小二乘法確定擬合系數w和擬合常數b。
8.根據權利要求7所述的一種過擬合檢測裝置，其特征在于，所述變化幅度確定單元具體用于：
確定所述擬合系數w所有分量的平均值u和標準差s；
把擬合系數w的每一個分量分別變化0.1s，獲得殘差平方和對應于每一個分量變化時的變化幅度集。
9.根據權利要求8所述的一種過擬合檢測裝置，其特征在于，所述過擬合系數確定單元具體用于：
獲取所述變化幅度集中每一個數字平方和的平均數的算術平方根，作為所述數據集的過擬合系數。
10.根據權利要求9所述的一種過擬合檢測裝置，其特征在于，根據不同行業中數據特點，確定所述過擬合系數閾值。
該專利技術資料僅供研究查看技術是否侵權等信息，商用須獲得專利權人授權。該專利全部權利屬于微夢創科網絡科技（中國）有限公司，未經微夢創科網絡科技（中國）有限公司許可，擅自商用是侵權行為。如果您想購買此專利、獲得商業授權和技術合作，請聯系【客服】
本文鏈接：http://www.szxzyx.cn/pat/books/201911407853.6/1.html，轉載請聲明來源鉆瓜專利網。
