[發明專利]基于眼部圖像識別弱視的方法及系統

有效

• 申請號: 201910344151.1
• 申請日: 2019-04-26
• 公開（公告）號: CN110111316B
• 公開（公告）日: 2023-07-18
• 發明（設計）人: 程良倫;謝靚茹;胡可;黃國恒
• 申請（專利權）人: 廣東工業大學
• 主分類號: G06T7/00
• 分類號: G06T7/00;G06N3/0464;G06N3/084;G16H50/20
• 代理公司: 北京集佳知識產權代理有限公司 11227
• 代理人: 羅滿

1.一種基于眼部圖像識別弱視的方法，其特征在于，包括：

從獲取的臉部圖像中獲取眼部區域圖像；

使用第一卷積神經網絡對所述眼部區域圖像提取特征，運算出眼部位置，使用第二卷積神經網絡對所述眼部區域圖像提取特征，得到所述眼部區域圖像的特征圖，并根據得到的眼部位置從所述特征圖中獲取眼部特征；

對獲得的眼部特征進行反卷積處理，使用第三卷積神經網絡對反卷積處理得到的圖像提取特征，運算出瞳孔位置，使用第四卷積神經網絡對反卷積處理得到的圖像提取特征，得到該圖像的特征圖，并根據得到的瞳孔位置從該圖像中獲取瞳孔特征；

根據獲得的瞳孔特征運算出眼部是否有弱視問題的結果。

2.根據權利要求1所述的基于眼部圖像識別弱視的方法，其特征在于，使用依次級聯的第五卷積神經網絡、第六卷積神經網絡和第七卷積神經網絡對所述臉部圖像處理，從所述臉部圖像中獲取眼部區域圖像；

所述第五卷積神經網絡用于對所述臉部圖像運算處理，根據所述臉部圖像計算出一系列將臉部框出的邊界框以及一系列將眼部框出的邊界框；

所述第六卷積神經網絡用于對所述臉部圖像運算處理，根據所述第五卷積神經網絡輸出的一系列將臉部框出的邊界框篩選出更準確的將臉部框出的邊界框，根據所述第五卷積神經網絡輸出的一系列將眼部框出的邊界框篩選出更準確的將眼部框出的邊界框；

所述第七卷積神經網絡用于對所述臉部圖像運算處理，根據所述第六卷積神經網絡輸出的一系列將臉部框出的邊界框篩選出更準確的將臉部框出的邊界框，根據所述第六卷積神經網絡輸出的一系列將眼部框出的邊界框篩選出更準確的將眼部框出的邊界框。

3.根據權利要求2所述的基于眼部圖像識別弱視的方法，其特征在于，所述第五卷積神經網絡具體用于根據邊界框的回歸值對獲得的邊界框進行校準，和/或使用非極大值抑制法合并重疊的邊界框；

所述第六卷積神經網絡具體用于根據邊界框的回歸值對獲得的邊界框進行校準，和/或使用非極大值抑制法合并重疊的邊界框；

所述第七卷積神經網絡具體用于根據邊界框的回歸值對獲得的邊界框進行校準，和/或使用非極大值抑制法合并重疊的邊界框。

4.根據權利要求1所述的基于眼部圖像識別弱視的方法，其特征在于，根據獲得的瞳孔特征運算出眼部是否有弱視問題的結果包括：將獲得的瞳孔特征輸入到預先訓練好的分類器內，由所述分類器輸出眼部是否有弱視問題的結果。

5.根據權利要求4所述的基于眼部圖像識別弱視的方法，其特征在于，訓練所述分類器使用以下損失函數，表示為：

其中，L_AMS表示損失函數，m用于反向傳播時調節特征間的距離，n表示訓練樣本數，c表示分類的類別數，s表示縮放因子，cosθ_yi表示類yi的中心向量與其邊界向量的余弦值，cosθ_j表示類j的中心向量與其邊界向量的余弦值。

6.根據權利要求1-5任一項所述的基于眼部圖像識別弱視的方法，其特征在于，還包括：根據獲取的所述臉部圖像識別所述臉部圖像對應用戶的身份，具體包括：

使用預設卷積神經網絡對所述臉部圖像處理，計算得到用于描述所述臉部圖像的特征表示；

計算所述臉部圖像的特征表示與預先存儲的已知身份用戶的特征表示的差異量，根據兩者的差異量判斷所述臉部圖像對應用戶是否為已知身份用戶，以識別所述臉部圖像對應用戶的身份。

7.根據權利要求6所述的基于眼部圖像識別弱視的方法，其特征在于，在使用預設卷積神經網絡對所述臉部圖像處理之前還包括：對所述臉部圖像進行相似性變換，使所述臉部圖像的各臉部關鍵點位置與所述預設卷積神經網絡要求的輸入圖像的各臉部關鍵點位置一致，變換矩陣表示為：

其中，s表示縮放因子，r₁₁、r₁₂、r₂₁和r₂₂表示旋轉因子，t_x和t_y表示平移因子。