[發(fā)明專利]圖像缺陷分類方法、裝置及電子設(shè)備

有效

• 申請?zhí)枺?/td>: 202011219552.3
• 申請日: 2020-11-05
• 公開（公告）號: CN112036517B
• 公開（公告）日: 2021-05-04
• 發(fā)明（設(shè)計）人: 陳曉炬;杜松
• 申請（專利權(quán)）人: 中科創(chuàng)達(dá)軟件股份有限公司
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06K9/46;G06T3/40
• 代理公司: 北京竹辰知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11706
• 代理人: 陳龍

1.一種圖像缺陷分類方法，其特征在于，包括：

針對待進(jìn)行缺陷檢測的目標(biāo)圖像進(jìn)行縮放處理，得到與所述目標(biāo)圖像對應(yīng)的縮略圖，以便于利用骨架網(wǎng)絡(luò)中的粗特征提取分支對所述縮略圖進(jìn)行特征粗提取，得到粗特征；

基于提取到的所述粗特征，通過反向梯度的方式得到所述目標(biāo)圖像對應(yīng)的熱力圖，以便于基于所述熱力圖對所述目標(biāo)圖像上存在的缺陷進(jìn)行定位，并基于定位得到的缺陷位置從所述目標(biāo)圖像上裁剪缺陷子圖；

利用所述骨架網(wǎng)絡(luò)中的細(xì)特征提取分支，對所述缺陷子圖進(jìn)行特征提取，得到所述目標(biāo)圖像的細(xì)特征；

通過分支特征權(quán)重調(diào)節(jié)器，對所述粗特征和所述細(xì)特征進(jìn)行權(quán)值調(diào)整，得到最終的目標(biāo)特征，所述目標(biāo)特征用于輸入到集成分類器，以便于在所述集成分類器中對所述目標(biāo)圖像的缺陷類別進(jìn)行預(yù)測；其中

所述基于提取到的所述粗特征，通過反向梯度的方式得到所述目標(biāo)圖像對應(yīng)的熱力圖，包括：

根據(jù)預(yù)測類別和標(biāo)簽的損失函數(shù)、以及提取的粗特征，通過引導(dǎo)式反向傳播求得梯度；

由三維梯度可視化方式將梯度轉(zhuǎn)化為熱力圖。

2.根據(jù)權(quán)利要求1所述的圖像缺陷分類方法，其特征在于，所述針對待進(jìn)行缺陷檢測的目標(biāo)圖像進(jìn)行縮放處理，得到與所述目標(biāo)圖像對應(yīng)的縮略圖，包括：

獲取目標(biāo)圖像的原始尺寸以及進(jìn)行縮放處理的目標(biāo)尺寸；

基于所述原始尺寸和所述目標(biāo)尺寸，對所述目標(biāo)圖像進(jìn)行縮放處理，得到縮略圖。

3.根據(jù)權(quán)利要求1所述的圖像缺陷分類方法，其特征在于，所述利用骨架網(wǎng)絡(luò)中的粗特征提取分支對所述縮略圖進(jìn)行特征粗提取，得到粗特征，包括：

將所述縮略圖輸入到骨架網(wǎng)絡(luò)中的粗特征提取分支中；

在粗特征提取分支中，對所述縮略圖進(jìn)行全圖的前景和背景的特征提取，得到粗特征。

4.根據(jù)權(quán)利要求1所述的圖像缺陷分類方法，其特征在于，所述基于定位得到的缺陷位置從所述目標(biāo)圖像上裁剪缺陷子圖，包括：

以缺陷位置為中心，按照預(yù)設(shè)的裁剪尺寸對所述目標(biāo)圖像進(jìn)行裁剪處理，得到與所述缺陷位置對應(yīng)的缺陷子圖。

5.根據(jù)權(quán)利要求1所述的圖像缺陷分類方法，其特征在于，所述利用所述骨架網(wǎng)絡(luò)中的細(xì)特征提取分支，對所述缺陷子圖進(jìn)行特征提取，得到所述目標(biāo)圖像的細(xì)特征，包括：

將所述缺陷子圖輸入到所述骨架網(wǎng)絡(luò)中的細(xì)特征提取分支中；

在所述骨架網(wǎng)絡(luò)中的細(xì)特征提取分支的網(wǎng)絡(luò)層中提取所述目標(biāo)圖像的細(xì)特征。

6.根據(jù)權(quán)利要求1所述的圖像缺陷分類方法，其特征在于，所述通過分支特征權(quán)重調(diào)節(jié)器，對所述粗特征和所述細(xì)特征進(jìn)行權(quán)值調(diào)整，包括：

利用分支特征權(quán)重調(diào)節(jié)器，進(jìn)行粗特征分支特征和細(xì)特征分支的權(quán)重控制；

在模型訓(xùn)練階段，隨著訓(xùn)練周期的變化，實現(xiàn)訓(xùn)練前期粗特征分支特征權(quán)重大、細(xì)特征分支權(quán)重小。

7.根據(jù)權(quán)利要求1所述的圖像缺陷分類方法，其特征在于，所述在所述集成分類器中對所述目標(biāo)圖像的缺陷類別進(jìn)行預(yù)測，包括：

配置自適應(yīng)權(quán)重參數(shù)α，通過適應(yīng)器根據(jù)當(dāng)前訓(xùn)練周期的數(shù)目自動生成，通過預(yù)設(shè)的衰減函數(shù)進(jìn)行粗特征和細(xì)特征的調(diào)節(jié)，再通過分類器的累加集合，進(jìn)行缺陷類別的預(yù)測；

自適應(yīng)權(quán)重參數(shù)α是漸變式地從1變?yōu)?，逐漸減小，確保整個訓(xùn)練過程中，粗特征分支和細(xì)特征分支同時維持學(xué)習(xí)狀態(tài)，讓整個網(wǎng)絡(luò)模型在訓(xùn)練前期依靠粗特征分支進(jìn)行缺陷粗分類和熱力圖缺陷定位，在訓(xùn)練后期依靠細(xì)特征分支進(jìn)行缺陷定位和細(xì)分類，實現(xiàn)無需人工標(biāo)注的通過熱力圖自動缺陷定位的精細(xì)化缺陷分類模型。