[發(fā)明專利]人工神經(jīng)網(wǎng)絡(luò)調(diào)整方法和裝置

在審

• 申請(qǐng)?zhí)枺?/td>: 201810608259.2
• 申請(qǐng)日: 2018-06-13
• 公開(kāi)（公告）號(hào): CN110598723A
• 公開(kāi)（公告）日: 2019-12-20
• 發(fā)明（設(shè)計(jì)）人: 高梓桁
• 申請(qǐng)（專利權(quán)）人: 北京深鑒智能科技有限公司
• 主分類號(hào): G06K9/62
• 分類號(hào): G06K9/62
• 代理公司: 11452 北京展翼知識(shí)產(chǎn)權(quán)代理事務(wù)所(特殊普通合伙)
• 代理人: 張陽(yáng)

提出了一種人工神經(jīng)網(wǎng)絡(luò)(ANN)調(diào)整方法和裝置。所述ANN的最后一個(gè)全連接層是用于分類的分類器并且該層的歸一化權(quán)值表示各類的特征中心，所述方法包括：以對(duì)所述特征中心的夾角進(jìn)行約束的第一損失函數(shù)對(duì)所述ANN進(jìn)行調(diào)整；在使得各個(gè)特征中心的夾角分布趨于均勻的情況下完成對(duì)所述ANN的訓(xùn)練。本發(fā)明通過(guò)使用損失函數(shù)對(duì)特征中心的角度加以約束，能夠使得各類特征中心之間的夾角更為均勻，從而能夠很好地解決由于類內(nèi)偏差和類間偏差的區(qū)分度不足而對(duì)分類結(jié)果造成的不利影響的問(wèn)題。

技術(shù)領(lǐng)域

本發(fā)明涉及深度學(xué)習(xí)，尤其涉及對(duì)人工神經(jīng)網(wǎng)絡(luò)的調(diào)整方法和裝置。

背景技術(shù)

近些年來(lái)，人工神經(jīng)網(wǎng)絡(luò)(ANN)在目標(biāo)檢測(cè)、圖像分類等領(lǐng)域都取得了重大進(jìn)展。但是在工程中，經(jīng)常會(huì)發(fā)生標(biāo)注數(shù)據(jù)類別不均衡的情況。倘若需要分類的類別較多，例如，人臉識(shí)別任務(wù)，上述標(biāo)注數(shù)據(jù)的類別不均衡會(huì)由于類內(nèi)偏差和類間偏差的區(qū)分度不足而對(duì)分類結(jié)果產(chǎn)生較大影響。

為了解決上述問(wèn)題，業(yè)已提出了各種各樣的改進(jìn)方案，例如數(shù)據(jù)增強(qiáng)和局部特征標(biāo)注等。但上述方案也都未能很好地解決因標(biāo)注數(shù)據(jù)的類別不均衡而導(dǎo)致的分類結(jié)果不準(zhǔn)確的問(wèn)題。

有鑒于此，仍然需要一種改進(jìn)的神經(jīng)網(wǎng)絡(luò)調(diào)整方法。

發(fā)明內(nèi)容

本發(fā)明通過(guò)使用損失函數(shù)對(duì)特征中心的角度加以約束，能夠使得各類特征中心之間的夾角更為均勻，從而很好地解決由于類內(nèi)偏差和類間偏差的區(qū)分度不足而對(duì)分類結(jié)果造成的不利影響的問(wèn)題。

根據(jù)本發(fā)明的一個(gè)方面，提出了一種人工神經(jīng)網(wǎng)絡(luò)(ANN)調(diào)整方法，其中所述ANN的最后一個(gè)全連接層是用于分類的分類器并且該層的歸一化權(quán)值表示各類的特征中心，所述方法包括：以對(duì)所述特征中心的夾角進(jìn)行約束的第一損失函數(shù)對(duì)所述ANN進(jìn)行調(diào)整；在使得各個(gè)特征中心的夾角分布趨于均勻的情況下完成對(duì)所述ANN的訓(xùn)練。由此，消除例如由訓(xùn)練數(shù)據(jù)集不平衡所導(dǎo)致的特征中心角分布不均勻所帶來(lái)的分類不準(zhǔn)確的問(wèn)題。

在此，對(duì)所述特征中心的夾角進(jìn)行約束的第一損失函數(shù)可以是常見(jiàn)的softmax損失函數(shù)。輸入所述ANN的訓(xùn)練數(shù)據(jù)可以是各類數(shù)據(jù)分布不等的非平衡數(shù)據(jù)集。而所述ANN網(wǎng)絡(luò)可以是人臉識(shí)別神經(jīng)網(wǎng)絡(luò)。

優(yōu)選地，本發(fā)明的調(diào)整方法還可以包括：以使用第一損失函數(shù)對(duì)所述ANN進(jìn)行調(diào)整之前，使用第二損失函數(shù)對(duì)所述ANN進(jìn)行訓(xùn)練以確定各類的初始特征中心。由此，使得本發(fā)明的夾角約束損失函數(shù)可以根據(jù)需要用于網(wǎng)絡(luò)的訓(xùn)練或是微調(diào)。

在上述訓(xùn)練和/或微調(diào)的過(guò)程中，可以使用不加約束的第三損失函數(shù)與第一損失函數(shù)對(duì)所述ANN進(jìn)行聯(lián)合調(diào)整。其中，第一損失函數(shù)和第三損失函數(shù)在所述ANN的調(diào)整過(guò)程中可以被賦予不同的權(quán)重。優(yōu)選地，第一損失函數(shù)的權(quán)重隨著迭代的加深逐漸增大。或者，第一損失函數(shù)的損失約束的權(quán)重隨著迭代的加深逐漸增大。由此，能夠根據(jù)實(shí)際應(yīng)用，靈活選擇施加角度約束的時(shí)機(jī)與強(qiáng)度。

對(duì)所述特征中心的夾角進(jìn)行的約束可以包括：對(duì)每個(gè)特征中心和相鄰兩個(gè)特征中心之間的夾角取平均作為該特征中心的特征中心角；以及使得所有的特征中心角趨向于相等，且方差盡可能為零。優(yōu)選地，特征中心角需要大于預(yù)定閾值。

根據(jù)本發(fā)明的另一個(gè)方面，提出了一種人工神經(jīng)網(wǎng)絡(luò)(ANN)調(diào)整裝置，其中所述人工神經(jīng)網(wǎng)絡(luò)的最后一個(gè)全連接層是用于分類的分類器并且該層的歸一化權(quán)值表示各類的特征中心，所述裝置包括：夾角調(diào)整裝置，用于以對(duì)所述特征中心的夾角進(jìn)行約束的第一損失函數(shù)對(duì)所述ANN進(jìn)行調(diào)整；迭代裝置，用于在使得各個(gè)特征中心的夾角分布趨于均勻的情況下完成對(duì)所述ANN的訓(xùn)練。

優(yōu)選地，所述裝置還可以包括：初始訓(xùn)練裝置，用于以使用第一損失函數(shù)對(duì)所述ANN進(jìn)行調(diào)整之前，使用第二損失函數(shù)對(duì)所述ANN進(jìn)行訓(xùn)練以確定各類的初始特征中心。