[發(fā)明專利]定位帶有已知圖形的基準(zhǔn)點(diǎn)的系統(tǒng)和方法

有效

• 申請?zhí)枺?/td>: 201410550911.1
• 申請日: 2014-10-16
• 公開（公告）號: CN104574357B
• 公開（公告）日: 2018-09-21
• 發(fā)明（設(shè)計(jì)）人: G·什瓦拉姆;L·D·雅各布森;D·Y·李
• 申請（專利權(quán)）人: 康耐視公司
• 主分類號: G06T7/70
• 分類號: G06T7/70
• 代理公司: 廣州嘉權(quán)專利商標(biāo)事務(wù)所有限公司 44205
• 代理人: 譚英強(qiáng)

本發(fā)明提供一種確定圖形姿態(tài)的系統(tǒng)和方法，所述圖形對于視覺系統(tǒng)而言是已知的并經(jīng)受仿射變換和變形。具有基準(zhǔn)點(diǎn)的目標(biāo)圖像被獲取。所述基準(zhǔn)點(diǎn)具有仿射參數(shù)，包括自由度(DOFs)、搜索范圍和搜索步長以及具有相關(guān)DOFs和步長的控制點(diǎn)。對每一2D仿射參數(shù)的搜索范圍以及畸變控制點(diǎn)的DOFs進(jìn)行采樣，并且獲取所有組合。為每一組合對粗略指定的基準(zhǔn)點(diǎn)進(jìn)行變換并為每一變換后的基準(zhǔn)點(diǎn)算出匹配度量，生成計(jì)分表面。在此表面上計(jì)算出峰值作為潛在的候選者，其會(huì)被進(jìn)一步提煉直到匹配度量得到最大化。返回超出預(yù)設(shè)分?jǐn)?shù)的精化表示作為場景中的潛在圖形。可選地，具有最佳分?jǐn)?shù)的候選者可用作為訓(xùn)練基準(zhǔn)點(diǎn)。

相關(guān)申請

本申請要求于2013年10月16日提交的，標(biāo)題為定位具有已知圖形的基準(zhǔn)點(diǎn)的美國臨時(shí)申請?zhí)?1/891,446的權(quán)益，其全文通過引用并入本文中。

技術(shù)領(lǐng)域

本發(fā)明涉及在圖像化場景中定位圖形的機(jī)器視覺系統(tǒng)和方法。

背景技術(shù)

機(jī)器視覺系統(tǒng)，又名視覺系統(tǒng)，在本文中用于在生產(chǎn)環(huán)境中執(zhí)行多種不同的任務(wù)。通常說來，一個(gè)視覺系統(tǒng)由一個(gè)或者多個(gè)具有圖像傳感器(或者成像器)的攝像機(jī)組成，獲取含有生產(chǎn)中目標(biāo)的場景的灰度或者彩色圖像。對目標(biāo)圖像進(jìn)行分析以為用戶提供數(shù)據(jù)/信息，并將目標(biāo)圖像與生產(chǎn)過程相關(guān)聯(lián)。由圖像生成的數(shù)據(jù)典型地由視覺系統(tǒng)在一個(gè)或者多個(gè)視覺系統(tǒng)處理器中進(jìn)行處理，這些視覺系統(tǒng)處理器可以是專用的，或在通用計(jì)算機(jī)(例如PC、筆記本電腦、平板電腦或智能手機(jī))的一個(gè)或多個(gè)軟件的一部分中處理。由視覺系統(tǒng)執(zhí)行的一些類型的任務(wù)可包括，目標(biāo)和表面的檢查，和/或處于移動(dòng)中的動(dòng)作階段的目標(biāo)(也稱工件)的定位，該定位包括沿一個(gè)或多個(gè)正交的軸線或以旋轉(zhuǎn)伺服該動(dòng)作階段。

工件的對準(zhǔn)通常要求對一預(yù)定圖形的辨識和定位，該預(yù)定圖形可稱為基準(zhǔn)點(diǎn)。作為對準(zhǔn)處理的一部分，在圖像上識別基準(zhǔn)點(diǎn)，以及確定其二維(2D)或三維(3D)中的姿態(tài)。基于對姿態(tài)的確定，該工件可對齊以執(zhí)行一生產(chǎn)操作，例如部件的裝配。

通常，基準(zhǔn)點(diǎn)的圖形(例如十字架)被訓(xùn)練入視覺系統(tǒng)，作為其初始設(shè)置的一部分。該訓(xùn)練基于基準(zhǔn)點(diǎn)一個(gè)合成的或者實(shí)際的成像。應(yīng)認(rèn)識到，基準(zhǔn)點(diǎn)可以被扭曲。這樣的扭曲可以是由生成該圖形/基準(zhǔn)點(diǎn)的流程導(dǎo)致的。例如，十字架的基準(zhǔn)點(diǎn)的印刷可引起流程變動(dòng)，其導(dǎo)致該十字架描邊寬度的變化。在十字架和圓的情形中，描邊寬度可改變而圓的一部分可變平，結(jié)果是出現(xiàn)限定橢圓形或樣條線(spline)的邊緣。盡管搜索仿射變換(affinetransformation)(即一般在2D中的比例變化、旋轉(zhuǎn)、平移和扭曲)的視覺系統(tǒng)應(yīng)用可以相對有效率地識別和定位(確定基準(zhǔn)點(diǎn)的姿態(tài))基準(zhǔn)點(diǎn)，但結(jié)合仿射變換而加入的扭曲，可使確定基準(zhǔn)點(diǎn)姿態(tài)的處理更具挑戰(zhàn)和帶來較小的可靠度/效率。

發(fā)明內(nèi)容

本發(fā)明克服現(xiàn)有技術(shù)的缺陷，提供一種用于確定圖形的姿態(tài)的系統(tǒng)和方法，該圖形為視覺系統(tǒng)所知，該視覺系統(tǒng)以增加效率和可靠性的方式，同時(shí)采用仿射變換和形變來確定圖形的姿態(tài)。在一說明性的實(shí)施例中，該系統(tǒng)和方法獲取具有基準(zhǔn)點(diǎn)的目標(biāo)圖像。根據(jù)仿射參數(shù)的粗略評估、用于仿射自由度(DOFs)的搜索范圍和搜索步長，來指定該基準(zhǔn)點(diǎn)(圖形)。同樣地，其包括具有關(guān)聯(lián)的DOFs和步長的一個(gè)或多個(gè)扭曲控制點(diǎn)。該系統(tǒng)和方法對每一2D仿射參數(shù)的搜索范圍和扭曲控制點(diǎn)的自由度(DOF)進(jìn)行采樣。對于以上采樣的每一個(gè)組合，該系統(tǒng)和方法變換該粗略指定的基準(zhǔn)點(diǎn)，并計(jì)算出對應(yīng)圖像中的變換的基準(zhǔn)點(diǎn)圖形的一匹配度量。該計(jì)算的結(jié)果是一計(jì)分表面。在該計(jì)分表面上計(jì)算出一組頂點(diǎn)。這些頂點(diǎn)為圖像中的潛在候選者。然后，說明性地，通過使用爬山法，對每一候選者進(jìn)行精化，在該爬山法中，反復(fù)地修改對參數(shù)的粗略評估，直到匹配度量為最大。在超過一預(yù)定(例如用戶指定的)分?jǐn)?shù)時(shí)，返回該候選者的精化表示。一個(gè)或多個(gè)該精化的表示可指示運(yùn)行時(shí)圖像中的一個(gè)或多個(gè)基準(zhǔn)點(diǎn)的位置。可替代地，具有最佳分?jǐn)?shù)的一個(gè)或多個(gè)該精化的表示可用于對粗略指定的合成的訓(xùn)練基準(zhǔn)點(diǎn)進(jìn)行精化。該精化的訓(xùn)練基準(zhǔn)點(diǎn)可用于訓(xùn)練隨后的運(yùn)行時(shí)姿態(tài)測定流程。