[發(fā)明專利]卷積神經(jīng)網(wǎng)絡(luò)模型的訓(xùn)練方法及裝置

有效

• 申請(qǐng)?zhí)枺?/td>: 201710274339.4
• 申請(qǐng)日: 2017-04-25
• 公開（公告）號(hào): CN107194464B
• 公開（公告）日: 2021-06-01
• 發(fā)明（設(shè)計(jì)）人: 萬韶華
• 申請(qǐng)（專利權(quán)）人: 北京小米移動(dòng)軟件有限公司
• 主分類號(hào): G06N3/08
• 分類號(hào): G06N3/08;G06N3/04
• 代理公司: 北京三高永信知識(shí)產(chǎn)權(quán)代理有限責(zé)任公司 11138
• 代理人: 林錦瀾

1.一種基于卷積神經(jīng)網(wǎng)絡(luò)模型進(jìn)行圖像識(shí)別的方法，其特征在于，所述方法包括：

通過待訓(xùn)練的卷積神經(jīng)網(wǎng)絡(luò)模型對(duì)存儲(chǔ)的多個(gè)訓(xùn)練圖像分別進(jìn)行識(shí)別處理，得到所述多個(gè)訓(xùn)練圖像中每個(gè)訓(xùn)練圖像對(duì)應(yīng)的預(yù)測(cè)類別概率向量，每個(gè)預(yù)測(cè)類別概率向量中包括多個(gè)預(yù)測(cè)類別概率，每個(gè)預(yù)測(cè)類別概率為對(duì)應(yīng)的訓(xùn)練圖像屬于多個(gè)預(yù)設(shè)類別中每個(gè)預(yù)設(shè)類別的概率；

對(duì)于所述多個(gè)訓(xùn)練圖像中的每個(gè)訓(xùn)練圖像，確定所述訓(xùn)練圖像的預(yù)測(cè)類別概率向量與初始類別概率向量之間的差值，得到所述訓(xùn)練圖像的類別概率誤差向量，所述初始類別概率向量中包括多個(gè)初始類別概率，所述多個(gè)初始類別概率是基于預(yù)設(shè)擾動(dòng)概率、所述訓(xùn)練圖像的真實(shí)類別以及對(duì)應(yīng)類別的類別比例確定得到，所述預(yù)設(shè)擾動(dòng)概率用于擾動(dòng)所述訓(xùn)練圖像的類別；

基于所述多個(gè)訓(xùn)練圖像的類別概率誤差向量和所述多個(gè)訓(xùn)練圖像，對(duì)所述卷積神經(jīng)網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練；

基于完成訓(xùn)練的卷積神經(jīng)網(wǎng)絡(luò)模型對(duì)待識(shí)別圖像進(jìn)行圖像識(shí)別。

2.如權(quán)利要求1所述的方法，其特征在于，所述確定所述訓(xùn)練圖像的預(yù)測(cè)類別概率向量與初始類別概率向量之間的差值之前，還包括：

對(duì)于所述多個(gè)預(yù)設(shè)類別中的每個(gè)預(yù)設(shè)類別，確定所述預(yù)設(shè)類別的類別比例；

基于所述預(yù)設(shè)擾動(dòng)概率、所述訓(xùn)練圖像的真實(shí)類別以及所述預(yù)設(shè)類別的類別比例，通過如下公式確定與所述預(yù)設(shè)類別對(duì)應(yīng)的初始類別概率；

P(k)＝λ*δ_y(k)+(1-λ)*p₀(k)；

其中，所述P(k)表示與所述預(yù)設(shè)類別對(duì)應(yīng)的初始類別概率，λ表示所述預(yù)設(shè)擾動(dòng)概率，所述p₀(k)表示所述預(yù)設(shè)類別的類別比例，其中，當(dāng)所述訓(xùn)練圖像的真實(shí)類別與所述預(yù)設(shè)類別相同時(shí)，所述δ_y(k)為1，當(dāng)所述訓(xùn)練圖像的真實(shí)類別與所述預(yù)設(shè)類別不同時(shí)，所述δ_y(k)為0。

3.如權(quán)利要求1所述的方法，其特征在于，所述基于所述多個(gè)訓(xùn)練圖像的類別概率誤差向量和所述多個(gè)訓(xùn)練圖像，對(duì)所述卷積神經(jīng)網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練，包括：

確定所述多個(gè)訓(xùn)練圖像的類別概率誤差向量的平均類別概率誤差向量；

基于所述平均類別概率誤差向量和所述多個(gè)訓(xùn)練圖像，對(duì)所述卷積神經(jīng)網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練。

4.如權(quán)利要求3所述的方法，其特征在于，所述基于所述平均類別概率誤差向量和所述多個(gè)訓(xùn)練圖像，對(duì)所述卷積神經(jīng)網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練，包括：

確定每個(gè)訓(xùn)練圖像的類別概率誤差向量中的各個(gè)元素的平方和，得到多個(gè)平方和；

當(dāng)所述多個(gè)平方和的平均值大于或等于預(yù)設(shè)閾值時(shí)，基于所述平均類別概率誤差向量，對(duì)所述卷積神經(jīng)網(wǎng)絡(luò)模型包括的模型參數(shù)進(jìn)行調(diào)整；

通過模型參數(shù)調(diào)整后的卷積神經(jīng)網(wǎng)絡(luò)重新對(duì)所述多個(gè)訓(xùn)練圖像分別進(jìn)行識(shí)別處理，得到多個(gè)預(yù)測(cè)類別概率向量，并返回所述對(duì)于所述多個(gè)訓(xùn)練圖像中的每個(gè)訓(xùn)練圖像，確定所述訓(xùn)練圖像的預(yù)測(cè)類別概率向量與初始類別概率向量之間的差值，得到所述訓(xùn)練圖像的類別概率誤差向量的步驟，直至通過每個(gè)訓(xùn)練圖像的類別概率誤差向量確定得到的多個(gè)平方和的平均值小于所述預(yù)設(shè)閾值為止。

5.一種基于卷積神經(jīng)網(wǎng)絡(luò)模型進(jìn)行圖像識(shí)別的裝置，其特征在于，所述裝置包括：

識(shí)別處理模塊，用于通過待訓(xùn)練的卷積神經(jīng)網(wǎng)絡(luò)模型對(duì)存儲(chǔ)的多個(gè)訓(xùn)練圖像分別進(jìn)行識(shí)別處理，得到所述多個(gè)訓(xùn)練圖像中每個(gè)訓(xùn)練圖像對(duì)應(yīng)的預(yù)測(cè)類別概率向量，每個(gè)預(yù)測(cè)類別概率向量中包括多個(gè)預(yù)測(cè)類別概率，每個(gè)預(yù)測(cè)類別概率為對(duì)應(yīng)的訓(xùn)練圖像屬于多個(gè)預(yù)設(shè)類別中每個(gè)預(yù)設(shè)類別的概率；

第一確定模塊，用于對(duì)于所述多個(gè)訓(xùn)練圖像中的每個(gè)訓(xùn)練圖像，確定所述識(shí)別處理模塊識(shí)別的所述訓(xùn)練圖像的預(yù)測(cè)類別概率向量與初始類別概率向量之間的差值，得到所述訓(xùn)練圖像的類別概率誤差向量，所述初始類別概率向量中包括多個(gè)初始類別概率，所述多個(gè)初始類別概率是基于預(yù)設(shè)擾動(dòng)概率、所述訓(xùn)練圖像的真實(shí)類別以及對(duì)應(yīng)類別的類別比例確定得到，所述預(yù)設(shè)擾動(dòng)概率用于擾動(dòng)所述訓(xùn)練圖像的類別；

訓(xùn)練模塊，用于基于所述第一確定模塊確定的所述多個(gè)訓(xùn)練圖像的類別概率誤差向量和所述多個(gè)訓(xùn)練圖像，對(duì)所述卷積神經(jīng)網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練；基于完成訓(xùn)練的卷積神經(jīng)網(wǎng)絡(luò)模型對(duì)待識(shí)別圖像進(jìn)行圖像識(shí)別。