[發明專利]數據去噪方法、裝置、設備及計算機可讀存儲介質

在審

• 申請號: 202011048598.3
• 申請日: 2020-09-29
• 公開（公告）號: CN112115131A
• 公開（公告）日: 2020-12-22
• 發明（設計）人: 蔡成飛;田上萱;王紅法;郭春超;趙文哲
• 申請（專利權）人: 騰訊科技（深圳）有限公司
• 主分類號: G06F16/215
• 分類號: G06F16/215;G06Q30/02;G06N3/04
• 代理公司: 北京派特恩知識產權代理有限公司 11270
• 代理人: 崔曉嵐;張穎玲

本申請實施例提供一種數據去噪方法、裝置、設備及計算機可讀存儲介質，涉及人工智能技術領域。方法包括：采用待去噪數據集合中的數據對預設算法模型進行訓練；當訓練后的算法模型不滿足模型收斂條件時，將訓練后的算法模型確定為待訓練網絡模型，并確定數據去噪請求中的待去噪數據集合中的每一數據與其他數據之間的第一平均距離；根據所述第一平均距離，確定噪聲數據并去除所述噪聲數據，得到更新數據集合；將所述更新數據集合中的數據作為樣本數據輸入至待訓練網絡模型中進行模型訓練；當訓練后的網絡模型滿足模型收斂條件時，將所述更新數據集合確定為去噪完成的數據集合。通過本申請實施例，能夠提高去除噪聲數據的準確率。

技術領域

本申請實施例涉及互聯網技術領域，涉及但不限于一種數據去噪方法、裝置、設備及計算機可讀存儲介質。

背景技術

深度學習是由大數據驅動發展的一個領域，目前所有的深度學習神經網絡算法都會面臨訓練數據噪聲問題。如果訓練數據中噪聲數據過多，那么就無法訓練得到一個效果較好的深度學習算法，因此訓練數據處理一般會占據整個算法設計流程中60-80％的時間，而且一般會花費較多人力物力進行數據去噪。

噪聲數據主要分為特征差異大的簡單噪聲數據，特征與正常數據接近的困難噪聲數據。常用的去噪方法主要包括人工去噪或采用算法解決方式去噪。

但是，雖然人工去噪方法可以解決上述兩類噪聲數據，但耗時極長；而常用的算法解決方式都是基于預訓練模型提取特征進行距離比對或者類別預測比對，由于算法解決方式中算法模型精度一般，因此一般只能清除掉簡單噪聲數據，無法清除困難噪聲數據，同時還會誤清除一些正常數據，從而降低噪聲數據清除的準確率。

發明內容

本申請實施例提供一種數據去噪方法、裝置、設備及計算機可讀存儲介質，涉及人工智能技術領域。通過計算每一數據與待去噪數據集合中的其他數據之間的第一平均距離，清除異常值過大的噪聲數據，使用剩余的數據進行下一輪待訓練網絡模型的訓練，如此循環往復，直至待訓練網絡模型收斂時，得到去噪完成的數據集合，如此，能夠把去噪方法代碼耦合嵌入到各種待訓練網絡模型中，通過循環訓練待訓練網絡模型，實現對待去噪數據集合進行逐步去噪，從而能夠提高去除噪聲數據準確率。

本申請實施例的技術方案是這樣實現的：

本申請實施例提供一種數據去噪方法，包括：

采用待去噪數據集合中的數據對預設算法模型進行訓練，得到訓練后的算法模型；

當所述訓練后的算法模型不滿足模型收斂條件時，將所述訓練后的算法模型確定為待訓練網絡模型，并確定所述待去噪數據集合中的每一數據與所述待去噪數據集合中的其他數據之間的第一平均距離；

根據所述第一平均距離，確定所述待去噪數據集合中的噪聲數據；

去除所述待去噪數據集合中的所述噪聲數據，得到更新數據集合；

將所述更新數據集合中的數據作為樣本數據輸入至待訓練網絡模型中，對所述待訓練網絡模型進行訓練，得到訓練后的網絡模型；

當采用所述更新數據集合中的數據訓練得到的所述訓練后的網絡模型滿足所述模型收斂條件時，將所述更新數據集合確定為去噪完成的數據集合。

本申請實施例提供一種數據去噪裝置，包括：

首次訓練模塊，用于采用待去噪數據集合中的數據對預設算法模型進行訓練，得到訓練后的算法模型；

第一確定模塊，用于當所述訓練后的算法模型不滿足模型收斂條件時，將所述訓練后的算法模型確定為待訓練網絡模型，并確定所述待去噪數據集合中的每一數據與所述待去噪數據集合中的其他數據之間的第一平均距離；

第二確定模塊，用于根據所述第一平均距離，確定所述待去噪數據集合中的噪聲數據；