[發(fā)明專利]訓(xùn)練樣本的數(shù)據(jù)清洗方法、裝置及一種分類器

有效

• 申請?zhí)枺?/td>: 202110456762.2
• 申請日: 2021-04-27
• 公開（公告）號: CN112990130B
• 公開（公告）日: 2021-07-23
• 發(fā)明（設(shè)計）人: 楊帆;劉利卉;朱瑩;馮帥;胡建國
• 申請（專利權(quán)）人: 南京甄視智能科技有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/46;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 北京德崇智捷知識產(chǎn)權(quán)代理有限公司 11467
• 代理人: 楊楠

1.一種訓(xùn)練樣本的數(shù)據(jù)清洗方法，其特征在于，包括以下步驟：

步驟1、將帶有標注類標的訓(xùn)練樣本送入包括網(wǎng)絡(luò)主體和全連接層的神經(jīng)網(wǎng)絡(luò)進行前向傳播；

步驟2、將所述全連接層所輸出的維度為數(shù)據(jù)數(shù)量*數(shù)據(jù)類別的第一全連接層特征映射為維度為類別數(shù)*類別數(shù)的第二全連接層特征，然后對所述第二全連接層特征進行非線性變換，得到維度為數(shù)據(jù)數(shù)量*數(shù)據(jù)類別的顯著性特征；以所述顯著性特征與第一全連接層特征進行點乘，得到加權(quán)全連接特征；

步驟3、將加權(quán)全連接層特征與訓(xùn)練樣本的標注類標比對，以綜合損失函數(shù)最小化為目標，進行梯度回傳實現(xiàn)神經(jīng)網(wǎng)絡(luò)參數(shù)的更新；所述綜合損失函數(shù)為第一損失函數(shù)、第二損失函數(shù)、第三損失函數(shù)的加權(quán)和，其中，第二損失函數(shù)

，第三損失函數(shù)； var_high、var_low分別為本迭代批次所有訓(xùn)練樣本中顯著性特征方差最大的前M%的訓(xùn)練樣本的顯著性特征方差均值和其余訓(xùn)練樣本的顯著性特征方差均值，0M50,margin為預(yù)設(shè)參數(shù)，為取最大值函數(shù)，i、j為對本迭代批次所有訓(xùn)練樣本中顯著性特征方差最大的前M%的訓(xùn)練樣本的加權(quán)全連接特征進行聚類所得到的N個聚類中心中的任意兩個，N為數(shù)據(jù)類別，表示聚類中心i、j的相似度；

步驟4、在所有訓(xùn)練樣本完成一次迭代后，均用驗證集樣本對所述神經(jīng)網(wǎng)絡(luò)進行測試，當(dāng)?shù)谝淮伟l(fā)現(xiàn)驗證集樣本的分類準確率開始放緩，則將訓(xùn)練樣本中滿足以下條件的訓(xùn)練樣本的標注類標調(diào)整為神經(jīng)網(wǎng)絡(luò)輸出的分類類標：分類類標與標注類標不一致；其顯著性特征方差小于同一迭代批次的var_low。

2.如權(quán)利要求1所述訓(xùn)練樣本的數(shù)據(jù)清洗方法，其特征在于，10≤M≤30。

3.如權(quán)利要求1所述訓(xùn)練樣本的數(shù)據(jù)清洗方法，其特征在于，M=20。

4.如權(quán)利要求1所述訓(xùn)練樣本的數(shù)據(jù)清洗方法，其特征在于，通過將當(dāng)前一次迭代驗證集分類準確率和上一次迭代驗證集分類準確率的差值與上一次迭代驗證集分類準確率和上上一次迭代驗證集分類準確率的差值進行比較，來判斷驗證集樣本的分類準確率是否開始放緩。

5.如權(quán)利要求1所述訓(xùn)練樣本的數(shù)據(jù)清洗方法，其特征在于，聚類中心i、j的相似度為i、j的余弦相似度加1。

6.如權(quán)利要求1所述訓(xùn)練樣本的數(shù)據(jù)清洗方法，其特征在于，所述調(diào)整類標的訓(xùn)練樣本還需滿足以下條件：其加權(quán)全連接特征與所述N個聚類中心的至少兩個的相似度小于等于預(yù)設(shè)閾值。