[發明專利]基于3DHarris關鍵點及優化SHOT特征的三維人耳識別方法

在審

• 申請號: 202010493336.1
• 申請日: 2020-06-03
• 公開（公告）號: CN111898405A
• 公開（公告）日: 2020-11-06
• 發明（設計）人: 蓋紹彥;錢昱來;達飛鵬
• 申請（專利權）人: 東南大學
• 主分類號: G06K9/00
• 分類號: G06K9/00
• 代理公司: 南京眾聯專利代理有限公司 32206
• 代理人: 張偉

本發明公開了基于3DHarris關鍵點及優化SHOT特征的三維人耳識別方法，步驟如下：(1)利用基于Faster R?CNN框架的檢測器對帶有背景信息的二維側臉圖像進行目標檢測，獲取方形人耳區域并提取對應區域的三維點云；(2)使用體素網格對人耳進行濾波；(3)將待測人耳和標準姿態下人耳使用迭代最近點算法進行配準，使得待測人耳具有標準豎直向上姿態，且待測人耳轉換后置于標準坐標系下，利用長方體模板切割來去除皮膚，頭發等冗余區域，得到歸一化人耳；(4)在三維人耳點云中根據3DHarris算法進行關鍵點檢測；(5)對所有關鍵點計算優化SHOT三維特征并進行關鍵點匹配。本發明能夠有效地剔除人耳周圍皮膚、頭發等冗余區域，且匹配結果精確可靠，具有較強的識別性能。

技術領域

本發明屬于人耳識別技術領域，具體涉及一種基于3DHarris關鍵點及優化SHOT特征的三維人耳識別方法。

背景技術

現代社會中,準確可靠地個人身份確認越來越多的受到人們的重視，身份認證在許多場合都有著重要的應用，如門禁系統、視頻監控、人機交互等。生物識別是機器視覺和模式識別領域的經典問題，而人耳識別技術是近年的一個研究熱點，相比人臉等其他生物特征，人耳更近似剛性，且不受表情變化，年齡和化妝等因素的影響；同時人耳表面凹凸變化豐富，適合作為生物特征進行識別。傳統的二維人耳識別是基于圖像的亮度信息進行身份確認的，但因為受光照、姿態等因素影響較大，故而近年來人耳識別研究開始從二維圖像擴展到三維空間上。

三維人耳識別利用人耳的空間形狀信息進行身份認證，不受光照、化妝、表情等因素的影響，和人臉識別相比有較大的優勢，但是仍然面臨遮擋問題帶來的挑戰，遮擋會導致人耳的三維數據丟失，影響識別效果。

發明內容

為了克服現有技術中存在的不足，本發明提供一種基于3DHarris關鍵點及優化SHOT特征的三維人耳識別方法，識別對象為三維人耳點云，識別過程中需用到與該三維點云對應的二維圖像(二維圖像中每個像素對應三維點云中的一個點)，該方法識別性能較高，并且速度較快。

為實現上述目的，本發明采用的技術方案為：

一種基于3DHarris關鍵點及優化SHOT特征的三維人耳識別方法，識別對象為三維人耳點云，識別過程中需用到與該三維點云對應的二維圖像(二維圖像中每個像素對應三維點云中的一個點)，包括以下步驟：

步驟1：對帶背景信息的二維側臉圖像進行Faster R-CNN目標檢測，獲得方形二維人耳區域，提取對應區域的三維人耳點云；

步驟2：對由步驟1所提取的三維人耳點云利用體素格進行濾波，在不改變點云形狀的同時減少點數，提高后續匹配效率；

步驟3：利用步驟2中得到的待測人耳和標準姿態人耳關鍵點集進行ICP配準，使其轉換為近似具有豎直向上姿態，再利用長方體模板切割，得到去除冗余信息后的三維人耳；

步驟4：對由步驟3歸一化后的三維人耳點云計算3DHarris特征得到關鍵點檢測，得到關鍵點集；

步驟5：對步驟4中的關鍵點計算優化的SHOT特征描述符，利用特征描述符實現關鍵點匹配，最后根據成功匹配的點數來衡量兩個人耳的相似度，得到識別結果。

作為本發明的優選，步驟1具體包括以下步驟：

步驟1.1：使用含有數百張二維側臉圖片的數據庫作為訓練集(實驗中為UND-J2數據庫及網絡上選取300張帶完整左耳信息的二維側臉圖片)，手動框出訓練集圖像中的方形人耳，利用更快的區域-卷積神經網絡(Faster R-CNN)框架訓練得到目標檢測器,利用這個檢測器在帶有側臉和復雜背景信息的圖像上檢測人耳，獲取方形人耳區域；

步驟1.2：根據二維圖像里方形人耳區域的坐標提取出對應三維點云里的人耳區域(在源數據庫中，二維圖像中每個像素對應三維點云中的一個點)。