[發明專利]一種搭建針對人耳識別的深度學習網絡結構的方法及系統

有效

• 申請號: 201810392301.1
• 申請日: 2018-04-27
• 公開（公告）號: CN108596193B
• 公開（公告）日: 2021-11-02
• 發明（設計）人: 王雁剛;陳晨
• 申請（專利權）人: 東南大學
• 主分類號: G06K9/46
• 分類號: G06K9/46;G06K9/62
• 代理公司: 南京眾聯專利代理有限公司 32206
• 代理人: 葉涓涓

1.一種搭建針對人耳識別的深度學習網絡結構的方法，其特征在于，包括如下步驟:

步驟1，對現有的人耳圖像數據集進行擴充；

步驟2，針對擴充后的人耳圖像數據集計算以熱圖形式呈現的人耳特征點標簽；

步驟3，針對擴充后的數據集搭建級聯卷積神經網絡，級聯卷積神經網絡學習步驟2得到的以熱圖形式呈現的人耳特征點標簽；

所述級聯卷積神經網絡包括如下幾層：

(1)輸入層：用于接受圖片輸入；

(2)人耳輪廓框估計層：利用CNN檢測出一個能夠包含6個人耳輪廓點的矩形框，將框出的圖片傳入下一級CNN中；

(3)人耳輪廓點檢測層：與人耳輪廓框估計層相連，根據矩形框檢測其中6個輪廓點并將結果輸出；

(4)人耳內部點邊界框估計層：利用CNN檢測出一個可以包含7個人耳內部關鍵點的矩形框，將框出的圖片傳入下一級CNN中；

(5)人耳內部關鍵點檢測層：與人耳內部點邊界框層相連，根據矩形框檢測其中7個人耳內部關鍵點并將結果輸出；

(6)人耳關鍵點合并層：將人耳輪廓點和人耳內部點關鍵點檢測層結果合并；

(7)人耳關鍵點熱圖輸出層：基于人耳關鍵點合并得到13個人耳關鍵點的熱圖并輸出；

步驟4，利用該網絡結構進行訓練、得到模型，從而實現通過深度學習網絡提取人耳特征點，輸出人耳特征點。

2.根據權利要求1所述的搭建針對人耳識別的深度學習網絡結構的方法，其特征在于，所述步驟1中從人耳角度和人耳形狀兩方面對數據集進行擴充。

3.根據權利要求2所述的搭建針對人耳識別的深度學習網絡結構的方法，其特征在于，從人耳角度對數據集進行擴充具體包括以下過程：首先提取人耳特征點，然后將這些特征點和3D人耳模型建立對應關系，以此可以得到相機外參數，接著可以得到相機矩陣，從中提取出旋轉矩陣，通過改變旋轉矩陣，能夠得到新的角度旋轉矩陣，給定一副圖像，可以合成不同角度的人耳圖像。

4.根據權利要求2所述的搭建針對人耳識別的深度學習網絡結構的方法，其特征在于，從人耳形狀對數據集進行擴充具體包括如下過程：首先通過3D人耳模型數據集獲取多種高質量3D人耳掃描數據，接著將圖像數據與不同3D人耳形狀數據結合，生成同一個人不同耳朵形狀的圖像。

5.根據權利要求1所述的搭建針對人耳識別的深度學習網絡結構的方法，其特征在于，所述步驟2中的人耳特征點標簽是分別針對人耳圖像中的每個特征點位置的熱圖。

6.一種搭建針對人耳識別的深度學習網絡結構的系統，其特征在于，包括：

數據擴充單元，用于增加現有的人耳圖像數據集中的圖像數量；

熱圖標簽單元，用于對擴充后的人耳圖像數據集計算以熱圖形式呈現的人耳特征點標簽；回歸熱圖單元，用于搭建一個回歸人耳圖像中的每個特征點位置的熱圖的級聯卷積神經網絡，級聯卷積神經網絡學習熱圖標簽單元得到的人耳特征點標簽，并對數據擴充單元擴充后的人耳圖像數據集中數據進行訓練輸出人耳特征點的熱圖結果；

所述級聯卷積神經網絡包括如下幾層：

(1)輸入層：用于接受圖片輸入；

(2)人耳輪廓框估計層：利用CNN檢測出一個能夠包含6個人耳輪廓點的矩形框，將框出的圖片傳入下一級CNN中；

(3)人耳輪廓點檢測層：與人耳輪廓框估計層相連，根據矩形框檢測其中6個輪廓點并將結果輸出；

(4)人耳內部點邊界框估計層：利用CNN檢測出一個可以包含7個人耳內部關鍵點的矩形框，將框出的圖片傳入下一級CNN中；

(5)人耳內部關鍵點檢測層：與人耳內部點邊界框層相連，根據矩形框檢測其中7個人耳內部關鍵點并將結果輸出；

(6)人耳關鍵點合并層：將人耳輪廓點和人耳內部點關鍵點檢測層結果合并；

(7)人耳關鍵點熱圖輸出層：基于人耳關鍵點合并得到13個人耳關鍵點的熱圖并輸出。