[發(fā)明專利]用視覺系統(tǒng)在圖像中查找圖案并對(duì)圖案進(jìn)行分類的系統(tǒng)和方法

在審

• 申請(qǐng)?zhí)枺?/td>: 201980047703.0
• 申請(qǐng)日: 2019-06-06
• 公開（公告）號(hào): CN112567384A
• 公開（公告）日: 2021-03-26
• 發(fā)明（設(shè)計(jì)）人: L·王;V·安納德;L·D·雅各布森;D·Y·李
• 申請(qǐng)（專利權(quán)）人: 康耐視公司
• 主分類號(hào): G06K9/20
• 分類號(hào): G06K9/20;G06K9/62;G06N3/08
• 代理公司: 廣州嘉權(quán)專利商標(biāo)事務(wù)所有限公司 44205
• 代理人: 趙學(xué)超

本發(fā)明提供了一種用于在圖像中查找圖案的系統(tǒng)和方法，該系統(tǒng)結(jié)合了神經(jīng)網(wǎng)絡(luò)分類器。圖案查找工具與分類器耦合，該分類器可在工具之前或之后運(yùn)行，以具有亞像素精度的標(biāo)記圖案結(jié)果。對(duì)于可檢測(cè)多個(gè)模板的圖案查找工具，當(dāng)神經(jīng)網(wǎng)絡(luò)分類器通知圖案查找工具只在最初訓(xùn)練的模板的子集上工作時(shí)，其性能得到改善。類似地，開始時(shí)圖案查找工具檢測(cè)圖案，然后神經(jīng)網(wǎng)絡(luò)分類器可確定它是否查找到了正確的圖案。神經(jīng)網(wǎng)絡(luò)還可重建/清理成像的形狀，和/或消除與感興趣的形狀不太相關(guān)的像素，因此減少搜索時(shí)間，以及顯著增加鎖定正確形狀的機(jī)會(huì)。

技術(shù)領(lǐng)域

本發(fā)明涉及機(jī)器視覺系統(tǒng)和方法，更具體地，涉及圖案搜索和識(shí)別工具。

背景技術(shù)

機(jī)器視覺系統(tǒng)，本文也稱為“視覺系統(tǒng)”，用于在制造環(huán)境中執(zhí)行各種任務(wù)。一般地，視覺系統(tǒng)由一個(gè)或多個(gè)帶有圖像傳感器(或“成像器”)的相機(jī)組成，圖像傳感器獲取包含制造中的對(duì)象的場(chǎng)景的灰度或彩色圖像。可對(duì)對(duì)象的圖像進(jìn)行分析，以向用戶和相關(guān)的制造過程提供數(shù)據(jù)/信息。圖像產(chǎn)生的數(shù)據(jù)通常由一個(gè)或多個(gè)視覺系統(tǒng)處理器中的視覺系統(tǒng)進(jìn)行分析和處理，該視覺系統(tǒng)處理器可以是專門構(gòu)建的，或者是通用計(jì)算機(jī)(例如，PC、膝上型電腦、平板電腦或智能手機(jī))中實(shí)例化的一個(gè)或多個(gè)軟件應(yīng)用程序的一部分。

普通視覺系統(tǒng)任務(wù)包括對(duì)準(zhǔn)和檢查。在對(duì)準(zhǔn)任務(wù)中，視覺系統(tǒng)工具(例如從馬薩諸塞州的康耐視公司購買的眾所周知的系統(tǒng))將場(chǎng)景圖像中的特征與訓(xùn)練(使用實(shí)際或合成模型)圖案進(jìn)行比較，并且確定成像場(chǎng)景中圖案的存在/不存在和姿態(tài)。此信息可用于后續(xù)檢查(或其它)操作，以搜索缺陷和/或執(zhí)行其它操作，例如零件拒收。

希望提高傳統(tǒng)圖案查找工具的性能，這些工具可包括預(yù)定的可搜索圖案列表(例如圓形、正方形、螺旋圖像等)。通常，此類工具可能無法正確區(qū)分某些具有細(xì)微差異(例如圓形與帶有小凹口的圓形)的訓(xùn)練圖案。

發(fā)明內(nèi)容

本發(fā)明通過提供一種結(jié)合神經(jīng)網(wǎng)絡(luò)(也稱為“神經(jīng)網(wǎng)絡(luò)(neural net)”)分類器(有時(shí)也稱為“分析器”)的用于在圖像中查找圖案的系統(tǒng)和方法來克服現(xiàn)有技術(shù)的缺點(diǎn)。圖案查找工具與分類器耦合，該分類器可在工具之前或之后運(yùn)行，以獲得具有亞像素精度的標(biāo)記圖案結(jié)果。在可檢測(cè)多個(gè)模板的圖案查找工具的情況下，當(dāng)神經(jīng)網(wǎng)絡(luò)分類器通知圖案查找工具只在最初訓(xùn)練的模板的子集上工作時(shí)，其性能得到改善。可替代地，當(dāng)在運(yùn)行圖案查找工具之前使用神經(jīng)網(wǎng)絡(luò)來重建或清除圖像時(shí)，可提高圖案查找工具的性能。此外，神經(jīng)網(wǎng)絡(luò)可用于基于圖像中每個(gè)像素屬于待匹配圖案的可能性來計(jì)算該像素的加權(quán)值。類似地，開始時(shí)圖案查找工具檢測(cè)圖案，然后神經(jīng)網(wǎng)絡(luò)分類器可確定其是否查找到了正確的圖案。

在說明性實(shí)施例中，用于在圖像中查找圖案的系統(tǒng)和方法包括圖案查找工具，基于與包含感興趣圖案的一個(gè)或多個(gè)訓(xùn)練圖像相關(guān)的一個(gè)或多個(gè)模板訓(xùn)練該圖案查找工具。在一個(gè)或多個(gè)訓(xùn)練圖像上訓(xùn)練神經(jīng)網(wǎng)絡(luò)分類器，并且在運(yùn)行時(shí)間期間運(yùn)行時(shí)間模板匹配處理，其中，(a)訓(xùn)練的神經(jīng)網(wǎng)絡(luò)分類器基于運(yùn)行時(shí)間圖像向圖案查找工具提供一個(gè)或多個(gè)模板，并且訓(xùn)練的圖案查找工具基于與運(yùn)行時(shí)間圖像組合的一個(gè)或多個(gè)模板圖像執(zhí)行圖案匹配，或者(b)訓(xùn)練圖案查找工具將從運(yùn)行時(shí)間圖像查找到的圖案提供給訓(xùn)練的神經(jīng)網(wǎng)絡(luò)分類器，并且訓(xùn)練的神經(jīng)網(wǎng)絡(luò)分類器基于查找到的圖案和運(yùn)行時(shí)間圖像執(zhí)行圖案匹配。圖案查找工具適于使用多個(gè)模板或在單個(gè)模板上進(jìn)行訓(xùn)練。神經(jīng)網(wǎng)絡(luò)包括卷積神經(jīng)網(wǎng)絡(luò)(CNN)。