[發(fā)明專利]基于光微分與雙通道神經(jīng)網(wǎng)絡(luò)的目標(biāo)檢測方法和裝置

有效

• 申請?zhí)枺?/td>: 202110276253.1
• 申請日: 2021-03-15
• 公開（公告）號: CN112906816B
• 公開（公告）日: 2021-11-09
• 發(fā)明（設(shè)計）人: 何良雨;崔健;劉彤
• 申請（專利權(quán)）人: 鋒睿領(lǐng)創(chuàng)(珠海)科技有限公司
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06N3/04;G06N3/08;G06T7/00
• 代理公司: 北京超凡宏宇專利代理事務(wù)所(特殊普通合伙) 11463
• 代理人: 梁韜

本發(fā)明公開了基于光微分與雙通道神經(jīng)網(wǎng)絡(luò)的目標(biāo)檢測方法和裝置，通過獲取利用帶有二維光學(xué)微分器的圖像采集裝置采集的待檢測的產(chǎn)品預(yù)定位置的圖片對應(yīng)的待檢測特征圖，利用雙通道神經(jīng)網(wǎng)絡(luò)模型的第i個雙通道融合特征層對第i?1個多維度交互融合特征圖進行特征提取和多維度交互特征融合以確定第i個多維度交互融合特征圖，i≤N，N為所述雙通道神經(jīng)網(wǎng)絡(luò)模型的雙通道融合特征層的總層數(shù)，第0個多維度交互融合特征圖為所述待檢測特征圖；利用雙通道神經(jīng)網(wǎng)絡(luò)模型的輸出層預(yù)測第N個多維度交互融合特征圖的目標(biāo)檢測點。本方案顯著提升模型對缺陷紋理特征的提取能力，突顯出目標(biāo)與背景的紋理差異，可用于檢測半導(dǎo)體、3C電子等產(chǎn)品表面缺陷。

技術(shù)領(lǐng)域

本發(fā)明涉及圖像識別領(lǐng)域，尤其涉及一種基于光微分與雙通道神經(jīng)網(wǎng)絡(luò)的目標(biāo)檢測方法和裝置。

背景技術(shù)

各類物品或產(chǎn)品在生產(chǎn)過程中很容易出現(xiàn)各類缺陷，這些缺陷可能會影響產(chǎn)品的使用壽命和可靠度，因此，表面缺陷檢測是品質(zhì)管控的關(guān)鍵環(huán)節(jié)。基于機器視覺的表面缺陷檢測方法具有效率高、準(zhǔn)確性高、實時性高等優(yōu)點，在缺陷檢測領(lǐng)域得到廣泛的研究和應(yīng)用。但是，由于缺陷類型繁多，特征難以定義，且只發(fā)生在生產(chǎn)過程中，使得基于計算機視覺的物品或產(chǎn)品表面缺陷檢測方法遇到困難。并且，流行的卷積神經(jīng)網(wǎng)絡(luò)模型為了提高檢測精度，大都具有復(fù)雜的網(wǎng)絡(luò)結(jié)構(gòu)和大量的模型參數(shù)，這使得卷積神經(jīng)模型難以部署在硬件資源和計算資源有限的嵌入式系統(tǒng)上，也無法實現(xiàn)對物品或產(chǎn)品表面缺陷的有效檢測。

發(fā)明內(nèi)容

鑒于上述問題，本發(fā)明提出一種基于光微分與雙通道神經(jīng)網(wǎng)絡(luò)的目標(biāo)檢測方法和裝置。

本發(fā)明實施例提供一種基于光微分與雙通道神經(jīng)網(wǎng)絡(luò)的目標(biāo)檢測方法，該方法包括：

獲取待檢測的產(chǎn)品預(yù)定位置的圖片對應(yīng)的待檢測特征圖，所述待檢測的產(chǎn)品預(yù)定位置的圖片對應(yīng)的待檢測特征圖是利用帶有二維光學(xué)微分器的圖像采集裝置采集的；

利用雙通道神經(jīng)網(wǎng)絡(luò)模型的第i個雙通道融合特征層對第i-1個多維度交互融合特征圖進行特征提取和多維度交互特征融合以確定第i個多維度交互融合特征圖，i≤N，N為所述雙通道神經(jīng)網(wǎng)絡(luò)模型的雙通道融合特征層的總層數(shù)，第0個多維度交互融合特征圖為所述待檢測特征圖；

利用所述雙通道神經(jīng)網(wǎng)絡(luò)模型的輸出層預(yù)測第N個多維度交互融合特征圖的每一個像素點對應(yīng)的預(yù)定數(shù)量的預(yù)測邊界框；

確定各個預(yù)測邊界框的對應(yīng)置信度；

將大于預(yù)設(shè)置信閾值的置信度對應(yīng)的預(yù)測邊界框作為真實邊界框以根據(jù)所述真實邊界框確定目標(biāo)位置。

本發(fā)明實施例所述的基于光微分與雙通道神經(jīng)網(wǎng)絡(luò)的目標(biāo)檢測方法，所述待檢測特征圖是利用帶有二維光學(xué)微分器的圖像采集裝置獲取的。

本發(fā)明實施例所述的基于光微分與雙通道神經(jīng)網(wǎng)絡(luò)的目標(biāo)檢測方法，每一個雙通道融合特征層包括主路特征提取通道、支路特征提取通道和多維度交互特征融合層，所述利用雙通道神經(jīng)網(wǎng)絡(luò)模型的第i個雙通道融合特征層對第i-1個多維度交互融合特征圖進行特征提取和多維度交互特征融合以確定第i個多維度交互融合特征圖，包括：

利用所述第i個雙通道融合特征層的主路特征提取通道確定第i-1個多維度交互融合特征圖的平均池化特征圖；

利用所述第i個雙通道融合特征層的支路特征提取通道確定第i-1個多維度交互融合特征圖的最大池化特征圖；

利用所述第i個雙通道融合特征層的多維度交互特征融合層多維度交互融合所述平均池化特征圖和所述最大池化特征圖以確定第i個多維度交互融合特征圖。

本發(fā)明實施例所述的基于光微分與雙通道神經(jīng)網(wǎng)絡(luò)的目標(biāo)檢測方法，通過以下公式確定第i個多維度交互融合特征圖：