[發(fā)明專利]輔料檢測方法、裝置、電子設(shè)備及存儲(chǔ)介質(zhì)

在審

• 申請(qǐng)?zhí)枺?/td>: 202010623460.5
• 申請(qǐng)日: 2020-06-30
• 公開（公告）號(hào): CN111754505A
• 公開（公告）日: 2020-10-09
• 發(fā)明（設(shè)計(jì)）人: 湯寅航;趙迪
• 申請(qǐng)（專利權(quán)）人: 創(chuàng)新奇智（成都）科技有限公司
• 主分類號(hào): G06T7/00
• 分類號(hào): G06T7/00;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 北京超凡宏宇專利代理事務(wù)所(特殊普通合伙) 11463
• 代理人: 李飛

1.一種輔料檢測方法，其特征在于，所述方法包括：

基于待測圖像中沒有輔料的局部區(qū)域，對(duì)所述待測圖像與模板圖像進(jìn)行特征匹配，獲得特征圖像；

確定所述特征圖像中的輔料對(duì)應(yīng)的特征映射空間；

在所述輔料對(duì)應(yīng)的特征映射空間中，確定所述輔料的瑕疵類型。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述基于待測圖像中沒有輔料的局部區(qū)域，對(duì)所述待測圖像與模板圖像進(jìn)行特征匹配，獲得特征圖像，包括：

對(duì)所述待測圖像和所述模板圖像進(jìn)行特征提取；

獲取所述待測圖像中沒有輔料的局部區(qū)域以及所述模板圖像中與所述沒有輔料的局部區(qū)域的對(duì)應(yīng)區(qū)域的匹配特征點(diǎn)；

基于所述匹配特征點(diǎn)將所述待測圖像與所述模板圖像進(jìn)行對(duì)齊，將對(duì)齊后的特征提取圖像作為所述特征圖像。

3.根據(jù)權(quán)利要求1所述的方法，其特征在于，在所述確定所述特征圖像中的輔料對(duì)應(yīng)的特征映射空間之前，所述方法還包括：

基于預(yù)先采集的多種輔料的數(shù)據(jù)，采用指定類型的網(wǎng)絡(luò)進(jìn)行特征學(xué)習(xí)并生成所述輔料對(duì)應(yīng)的特征映射空間，所述指定類型的網(wǎng)絡(luò)包括：ResNet50網(wǎng)絡(luò)。

4.根據(jù)權(quán)利要求1或3所述的方法，其特征在于，所述確定所述特征圖像中的輔料對(duì)應(yīng)的特征映射空間，包括：

基于注意力機(jī)制確定所述特征圖像中與所述輔料對(duì)應(yīng)的相關(guān)區(qū)域；

將所述輔料對(duì)應(yīng)的相關(guān)區(qū)域的嵌入空間作為所述輔料對(duì)應(yīng)的所述特征映射空間。

5.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述確定所述輔料的瑕疵類型，包括：

在所述輔料對(duì)應(yīng)的特征映射空間中，提取所述輔料所處的局部區(qū)域的深度特征；

在所述深度特征與所述模板圖像中對(duì)應(yīng)區(qū)域的特征相似度大于或等于預(yù)設(shè)閾值時(shí)，確定所述輔料無瑕疵；

在所述深度特征與所述模板圖像中對(duì)應(yīng)區(qū)域的特征相似度小于所述預(yù)設(shè)閾值時(shí)，采用多種輔料瑕疵類型劃分組合方式確定所述輔料的瑕疵類型。

6.根據(jù)權(quán)利要求5所述的方法，其特征在于，所述采用多種輔料瑕疵類型劃分組合方式確定所述輔料的瑕疵類型，包括：

在所述輔料對(duì)應(yīng)的特征映射空間中，采用基于深度學(xué)習(xí)的圖像分類方式判定所述輔料是否存在輔料瑕疵類型中的漏貼、多貼、翹起和/或粘連氣泡；

在所述輔料對(duì)應(yīng)的特征映射空間中，采用基于深度學(xué)習(xí)的圖像語義分割技術(shù)以及規(guī)則輔助的方式判定所述輔料是否存在輔料瑕疵類型中的歪斜、偏移和/或破損。

7.根據(jù)權(quán)利要求6所述的方法，其特征在于，所述在所述輔料對(duì)應(yīng)的特征映射空間中，采用基于深度學(xué)習(xí)的圖像語義分割技術(shù)以及規(guī)則輔助的方式判定所述輔料是否存在輔料瑕疵類型中的歪斜、偏移和/或破損，包括：

在所述輔料對(duì)應(yīng)的特征映射空間中，基于Deeplab語義分割網(wǎng)絡(luò)訓(xùn)練獲得語義分割模型；

通過所述語義分割模型求取分割出的所述輔料的掩模的面積與所述模板圖像對(duì)應(yīng)區(qū)域的面積之比，基于所述面積之比進(jìn)行歪斜、偏移和/或破損等輔料瑕疵類型判定。

8.一種輔料檢測裝置，其特征在于，所述裝置包括：

特征匹配模塊，用于基于待測圖像中沒有輔料的局部區(qū)域，對(duì)所述待測圖像與模板圖像進(jìn)行特征匹配，獲得特征圖像；

特征映射空間確定模塊，用于確定所述特征圖像中的輔料對(duì)應(yīng)的特征映射空間；

瑕疵類型判定模塊，用于在所述輔料對(duì)應(yīng)的特征映射空間中，確定所述輔料的瑕疵類型。

9.一種電子設(shè)備，其特征在于，所述電子設(shè)備包括存儲(chǔ)器和處理器，所述存儲(chǔ)器中存儲(chǔ)有程序指令，所述處理器運(yùn)行所述程序指令時(shí)，執(zhí)行權(quán)利要求1－7中任一項(xiàng)所述方法中的步驟。

10.一種存儲(chǔ)介質(zhì)，其特征在于，所述存儲(chǔ)介質(zhì)中存儲(chǔ)有計(jì)算機(jī)程序指令，所述計(jì)算機(jī)程序指令被一處理器運(yùn)行時(shí)，執(zhí)行權(quán)利要求1－7任一項(xiàng)所述方法中的步驟。