[發(fā)明專利]噪音數據識別方法、裝置、終端及存儲介質

在審

• 申請?zhí)枺?/td>: 202111418593.X
• 申請日: 2021-11-25
• 公開（公告）號: CN114154569A
• 公開（公告）日: 2022-03-08
• 發(fā)明（設計）人: 沈浩;吳優(yōu)
• 申請（專利權）人: 上海幟訊信息技術股份有限公司
• 主分類號: G06K9/62
• 分類號: G06K9/62
• 代理公司: 北京知果之信知識產權代理有限公司 11541
• 代理人: 高科

本申請公開了一種噪音數據識別方法、裝置、終端及存儲介質。方法包括：對初始實體信息依次進行進行向量化和特征處理，得到目標實體特征向量和目標噪音特征向量；利用深度學習算法對目標實體特征向量和目標噪音特征向量進行分類，得到目標實體特征向量對應的實體特征集合和目標噪音特征向量對應的噪音特征集合；基于實體特征集合和噪音特征集合，確定目標權重；基于目標權重和噪音實體識別算法，確定噪音實體。本發(fā)明可有效區(qū)分真實特征偏多的核心實體和噪音特征偏多的噪音實體，從而提高噪音實體識別的效果，進而提高后續(xù)模型處理的精確度。

技術領域

本申請涉及數據處理技術領域，具體而言，涉及一種噪音數據識別方法、裝置、終端及存儲介質。

背景技術

模型廣泛應用于各種領域，但是在建模之前，數據會存在大量噪聲，這個時候就需要對數據進行去噪處理。尤其是，如何對高維向量化后的數據進行去噪工作成為亟待解決的問題。

目前，一般采用標準差去噪法、分箱去噪法、dbscan去噪法或孤立森林去噪法，對高維向量化后的數據進行去噪。

但是，采用上述方法進行高維向量化后的數據去噪效果差。

發(fā)明內容

本申請的主要目的在于提供一種噪音數據識別方法、裝置、終端及存儲介質，以解決相關技術中對高維向量化后的數據進行去噪存在效果差的問題。

為了實現上述目的，第一方面，本申請?zhí)峁┝艘环N噪音數據識別方法，包括：

對初始實體信息依次進行進行向量化和特征處理，得到目標實體特征向量和目標噪音特征向量；

利用深度學習算法對目標實體特征向量和目標噪音特征向量進行分類，得到目標實體特征向量對應的實體特征集合和目標噪音特征向量對應的噪音特征集合；

基于實體特征集合和噪音特征集合，確定目標權重；

基于目標權重和噪音實體識別算法，確定噪音實體。

在一種可能的實現方式中，對初始實體信息依次進行進行向量化和特征處理，得到目標實體特征向量和目標噪音特征向量，包括：

對初始實體信息依次進行低維空間向量化和高維空間向量化，得到初始實體特征向量和初始噪音特征向量；

利用損失函數對初始實體特征向量和初始噪音特征向量進行特征處理，得到目標實體特征向量和目標噪音特征向量。

在一種可能的實現方式中，利用損失函數對初始實體特征向量和初始噪音特征向量進行特征處理，得到目標實體特征向量和目標噪音特征向量，包括：

確定初始實體特征向量和初始噪音特征向量對應的損失權重；

利用損失權重擴大初始實體特征向量和初始噪音特征向量之間的距離，得到目標實體特征向量和目標噪音特征向量。

在一種可能的實現方式中，利用深度學習算法對目標實體特征向量和目標噪音特征向量進行分類，得到目標實體特征向量對應的實體特征集合和目標噪音特征向量對應的噪音特征集合，包括：

若目標實體特征向量小于或等于預設實體特征向量，將目標實體特征向量進行匯總以確定實體特征集合；

若目標噪音特征向量大于預設噪音特征向量，將目標噪音特征向量進行匯總以確定噪音特征集合。

在一種可能的實現方式中，基于實體特征集合和噪音特征集合，確定目標權重，包括：

確定實體特征集合對應的第一向量數目和噪音特征集合對應的第二向量數目；

若第一向量數目大于或等于第二向量數目，將實體特征集合中所有向量的和作為目標權重；