[發明專利]基于深度學習的新增類別識別方法

有效

• 申請號: 201710585350.2
• 申請日: 2017-07-18
• 公開（公告）號: CN107688822B
• 公開（公告）日: 2021-07-20
• 發明（設計）人: 邢云冰;陳益強;蔣鑫龍
• 申請（專利權）人: 中國科學院計算技術研究所
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06N3/08
• 代理公司: 北京泛華偉業知識產權代理有限公司 11280
• 代理人: 王勇

本發明涉及一種基于深度學習的新增類別識別方法，包括以下步驟：將預測樣本輸入到深度網絡獲得預測樣本的輸出向量；計算所述預測樣本的輸出向量，與訓練樣本中每種類別的代表向量之間的相似度值，從而識別所述預測樣本的類別；其中，所述訓練樣本中每種類別的代表向量是通過將所述訓練樣本集輸入到深度網絡獲得輸出向量集，并根據所述訓練樣本的輸出向量集計算得出的。

技術領域

本發明涉及機器學習技術領域，特別涉及一種基于深度學習的新增類別識別方法。

背景技術

深度學習作為一種新型的機器學習方法，由于其對與時空域關聯的樣本數據具有很好的識別效果，例如，圖像、音頻、文本等，且對樣本數據平移變形等變換具有一定的魯棒性，使得其識別精度明顯優于經典的機器學習方法，因此一提出即得到廣泛應用。

深度學習盡管具有明顯的識別精度優勢，但在訓練階段的復雜度卻高于SVM等經典的機器學習方法。因此，如何針對特定問題，學習得到最優網絡模型，并且使該網絡模型適用于普適的網絡結構是一個難題。例如，傳統機器學習的預測樣本和訓練樣本，通常滿足嚴格的獨立同分布假設，并且預測樣本的類別結果一定是訓練樣本所屬類別的一種，但是，在實際的識別問題中，預測樣本的類別有可能是訓練樣本之外的，對于這種類別增加的問題，現有的深度學習可以采用如下兩種方式解決：

第一種方式是參考訓練樣本非均衡的處理方式，在設計網絡結構時，在網絡的最后一層增加“新增類別”輸出。但是由于沒有屬于新增類別的訓練樣本，在訓練階段生成網絡模型時，對新增類別的網絡參數并不能有效更新，其新增類別輸出從未被激活。所以在預測階段，屬于新增類別的預測樣本很難激活新增類別輸出。

第二種方式是采用預處理的方式，例如，屬于異常檢測方法的支持向量描述算法(SVDD)。在訓練階段，首先將所有現有類別的訓練樣本作為正常類別，其次利用這一正常類別的樣本數據訓練得到SVDD模型，然后使用普通的深度學習訓練整個樣本數據得到網絡模型。在預測階段，根據SVDD模型判斷預測樣本是否正常，如果預測樣本被識別為異常樣本，直接認定為新增類別，否則再利用普通的深度學習進行識別。這種方式的主要缺點存在于異常檢測階段精度較低，尤其是處理具有時空相關性的數據，例如圖像、語音、文本、自然語言處理等。

因此，目前需要一種識別精度高，普適性好的新增類別識別方法。

發明內容

本發明的目的是提供一種基于深度學習的新增類別識別方法，該方法能夠克服上述現有技術的缺陷，具體包括以下步驟：

步驟1)、將預測樣本集輸入到深度網絡獲得預測樣本的輸出向量；

步驟2)、計算所述預測樣本的輸出向量，與訓練樣本中每種類別的代表向量之間的相似度值，從而識別所述預測樣本的類別；

其中，所述訓練樣本中每種類別的代表向量是通過將所述訓練樣本集輸入到所述深度網絡獲得輸出向量集，并根據所述訓練樣本的輸出向量集計算得出的。

優選的，在計算所述訓練樣本中每種類別的代表向量時，僅針對所述訓練樣本集中類別確定的訓練樣本進行計算。

優選的，計算所述訓練樣本中每種類別的代表向量包括以下步驟：

對所述訓練樣本的輸出向量進行零值歸一化，獲得所述訓練樣本的歸一化輸出向量；

利用所述訓練樣本的歸一化輸出向量計算獲得輸出向量的單邊均值向量和單邊方差向量；

利用所述單邊均值向量和所述單邊方差向量計算獲得所述訓練樣本的每種類別的代表向量。

優選的，所述步驟1)進一步包括：對所述預測樣本的輸出向量進行零值歸一化，獲得所述預測樣本的歸一化輸出向量。

優選的，所述步驟2)進一步包括：計算所述預測樣本的歸一化輸出向量與所述訓練樣本的每種類別的代表向量之間的相似度值。