[發(fā)明專利]網(wǎng)絡模型的訓練方法及裝置、圖像處理方法及存儲介質(zhì)

有效

• 申請?zhí)枺?/td>: 202010160713.X
• 申請日: 2020-03-09
• 公開（公告）號: CN111340195B
• 公開（公告）日: 2023-08-22
• 發(fā)明（設計）人: 秦永強;李素瑩;敖川;劉金露
• 申請（專利權(quán)）人: 創(chuàng)新奇智（上海）科技有限公司
• 主分類號: G06N3/045
• 分類號: G06N3/045;G06N3/084;G06N3/09;G06V10/82;G06V10/40;G06V10/44;G06V10/764
• 代理公司: 北京超凡宏宇專利代理事務所(特殊普通合伙) 11463
• 代理人: 唐正瑜

本申請涉及人工智能技術(shù)領(lǐng)域，提供一種網(wǎng)絡模型的訓練方法及裝置、圖像處理方法及存儲介質(zhì)。其中，網(wǎng)絡模型的訓練方法包括：將訓練圖像輸入至主干網(wǎng)絡進行特征提取，獲得訓練圖像的特征圖；將特征圖輸入至第一分支網(wǎng)絡進行處理，獲得訓練圖像的全局特征，以及，將特征圖輸入至第二分支網(wǎng)絡進行處理，獲得訓練圖像的局部特征；聯(lián)合訓練圖像的全局特征以及局部特征形成訓練圖像的特征；基于訓練圖像的特征計算損失，并根據(jù)損失計算結(jié)果更新主干網(wǎng)絡的參數(shù)。上述方法由于同時利用了訓練圖像的全局特征以及局部特征訓練主干網(wǎng)絡，從而訓練好的主干網(wǎng)絡可以視為同時學習了訓練圖像的全局特征和局部特征，因此其執(zhí)行圖像處理任務可以獲得較好的結(jié)果。

技術(shù)領(lǐng)域

本發(fā)明涉及人工智能技術(shù)領(lǐng)域，具體而言，涉及一種網(wǎng)絡模型的訓練方法及裝置、圖像處理方法及存儲介質(zhì)。

背景技術(shù)

商品細分類可以指基于商品的圖像來區(qū)分外觀相似、僅存在細節(jié)不同的商品的方法。在現(xiàn)有技術(shù)中，通常先使用訓練好的網(wǎng)絡模型(如神經(jīng)網(wǎng)絡模型)從圖像中提取商品特征，然后基于提取出的特征進行商品分類。然而，現(xiàn)有的網(wǎng)絡模型通常被訓練為只能提取商品的全局特征，但外觀相似的商品其差異恰恰在局部細節(jié)，因此導致利用提取出的全局特征進行商品細分類效果不佳。

發(fā)明內(nèi)容

本申請實施例的目的在于提供一種網(wǎng)絡模型的訓練方法及裝置、圖像處理方法及存儲介質(zhì)，以改善上述技術(shù)問題。

為實現(xiàn)上述目的，本申請?zhí)峁┤缦录夹g(shù)方案：

第一方面，本申請實施例提供一種網(wǎng)絡模型的訓練方法，包括：將訓練圖像輸入至主干網(wǎng)絡進行特征提取，獲得所述訓練圖像的特征圖，所述主干網(wǎng)絡為神經(jīng)網(wǎng)絡；將所述訓練圖像的特征圖輸入至第一分支網(wǎng)絡進行處理，獲得所述訓練圖像的全局特征，以及，將所述訓練圖像的特征圖輸入至第二分支網(wǎng)絡進行處理，獲得所述訓練圖像的局部特征；聯(lián)合所述訓練圖像的全局特征以及局部特征形成所述訓練圖像的特征；基于所述訓練圖像的特征計算損失，并根據(jù)損失計算結(jié)果更新所述主干網(wǎng)絡的參數(shù)。

上述方法中的網(wǎng)絡模型設計了主干網(wǎng)絡以及兩個分支網(wǎng)絡，兩個分支網(wǎng)絡分別用于獲取訓練圖像的全局特征和局部特征，然后聯(lián)合兩方面的特征形成訓練圖像的特征，并基于訓練圖像的特征計算預測損失(例如，可以基于該特征進行商品分類預測并計算預測損失等)，進而更新主干網(wǎng)絡的參數(shù)。

其中，主干網(wǎng)絡即被訓練的對象，訓練好后主干網(wǎng)絡可以用于執(zhí)行圖像處理任務(例如，商品細分類任務等)，由于同時利用了訓練圖像的全局特征以及局部特征進行訓練，從而最終獲得的主干網(wǎng)絡可以視為既學習了訓練圖像的全局特征又學習了訓練圖像的局部特征，因此執(zhí)行圖像處理任務可以獲得較好的結(jié)果(例如，較高的商品細分類精度)。

在第一方面的一些實現(xiàn)方式中，所述將所述訓練圖像的特征圖輸入至所述第一分支網(wǎng)絡進行處理，獲得所述訓練圖像的全局特征，包括：利用所述第一分支網(wǎng)絡對所述訓練圖像的特征圖進行池化以及特征嵌入，獲得所述訓練圖像的全局特征。

上述實現(xiàn)方式中的池化操作用于數(shù)據(jù)降維，以便降低后續(xù)運算量，特征嵌入操作用于將數(shù)據(jù)轉(zhuǎn)換為向量表示，由于第一分支網(wǎng)絡是對完整的訓練圖像的特征圖進行處理，所以得到的是訓練圖像的全局特征。或者說通過設置第一分支網(wǎng)絡，主干網(wǎng)絡可以學習到訓練圖像的全局特征。

在第一方面的一些實現(xiàn)方式中，所述將所述訓練圖像的特征圖輸入至所述第二分支網(wǎng)絡進行處理，獲得所述訓練圖像的局部特征，包括：確定所述訓練圖像的特征圖中的遮擋區(qū)域，對所述遮擋區(qū)域內(nèi)的像素進行擦除或者模糊處理；對處理后的所述訓練圖像的特征圖進行池化以及特征嵌入，獲得所述訓練圖像的局部特征。

上述實現(xiàn)方式中通過選擇遮擋區(qū)域，將訓練圖像的特征圖中的一部分擦除或者模糊掉，剩余部分只是原特征圖的局部，因此再進行池化以及特征嵌入得到是的訓練圖像的局部特征。或者說通過設置第二分支網(wǎng)絡，主干網(wǎng)絡可以學習到訓練圖像的局部特征。