[發明專利]一種基于鼻眼結構約束的人眼定位方法

有效

• 申請號: 202011460073.0
• 申請日: 2020-12-11
• 公開（公告）號: CN112488032B
• 公開（公告）日: 2022-05-20
• 發明（設計）人: 練建沛;李銀國;白羚
• 申請（專利權）人: 重慶郵電大學
• 主分類號: G06V40/16
• 分類號: G06V40/16;G06V40/18;G06V10/44;G06V10/75;G06V10/764;G06K9/62;G06T7/73
• 代理公司: 北京同恒源知識產權代理有限公司 11275
• 代理人: 趙榮之

1.一種基于鼻眼結構約束的人眼定位方法，其特征在于：包括以下步驟：

S1：使用一定量的訓練集對檢測過程中用到的概率統計模型進行訓練，將模型初始化并獲得U分布擬合模型；步驟S1中具體包括以下步驟：

S11：采集數據，通過攝像頭采集駕駛人實車駕駛時的數據，所述攝像頭安裝在汽車左A柱下方，并采取仰拍角度拍攝；

S12：數據處理，將拍攝到的圖片通過人臉檢測器后得到的人臉框歸一化成300*300大小并人工標注左右瞳孔、左右鼻孔中心數據；步驟S12中所述標注了左右鼻孔、左右瞳孔中心數據的人臉框記為V_i＝(u_i,v_i)，i＝(1,2,3,4)；其中V_i代表鼻孔、瞳孔的坐標，u_i,v_i是點V_i的橫縱坐標；

S13：約束計算，將標注好四個特征點逐一組合分別計算邊緣長度、邊緣長度之比、邊緣夾角三個參數；步驟S13中任一條邊緣長度定義為：

邊緣長度之比定義為：

其中L_ik表示點V_i到點V_k的距離，L_jk表示點V_j到點V_k的距離；

邊緣長度夾角定義為：

其中L_ij表示點V_i到點V_j的距離；

定義則結構約束的能量函數定義為：

其中分別是結構約束由高斯建模建立的函數；

S14：分布擬合：采用Kolmogorov-Smirnov假設檢驗的方法，檢驗能量函數E(e₁,e₂,e₃,e₄)值符合哪種概率分布；步驟S14中所述的Kolmogorov-Smirnov假設檢驗的方法具體步驟如下：

S141：提出假設H0：Fn(E)＝F(E)；

其中E＝{E₁(e₁,e₂,e₃,e₄),E₂(e₁,e₂,e₃,e₄),…,E_i(e₁,e₂,e₃,e₄)}，i為樣本數量；F(E)為理論分布U上各階段的累計概率，Fn(E)為實際上各階段的累計概率；U為正態分布或指數分布；

S142：計算樣本累計頻率與理論分布累計概率的絕對差，記最大的絕對差Dn為：

Dn＝max|Fn(E)-F(E)|

S143：用樣本容量和顯著水平α查出臨界值Dna，如果Dn＜Dna，則認為擬合是滿意的，即能量函數E(e₁,e₂,e₃,e₄)值符合U分布；

S2：獲取攝像頭數據，視頻圖像抽幀逐幀進行人臉檢測，輸出人臉框的信息，所述人臉框的信息為人臉框矩形左上角坐標位置以及框的高度和寬度；

S3：將人臉框的上半部分作為人眼搜索區域，中間1/3部分作為鼻孔搜索區域，分別對其進行人眼檢測和鼻孔檢測獲得人眼局部候選框和雙鼻孔點；步驟S3具體包括以下步驟：

S31：將所述人眼搜索區域通過滑窗搜索人眼及鼻孔，對每個滑窗通過的區域提取HOG特征向量，并通過主成分分析法降低所述HOG特征向量的向量維度，再通過SVM進行分類，生成人眼候選框；

S32：將所述鼻孔搜索區域通過simpleBlobDetector斑點檢測器搜索雙鼻孔，并通過鼻孔特征、鼻距的先驗知識以及圖像熵信息來保證輸出的雙鼻孔點的準確性和穩定性；

S4：根據初始化的鼻-眼結構的訓練模型計算出現的人眼候選框中心點與雙鼻孔點構成的每一組鼻-眼數據概率值；

S41：將上一步得出的人眼候選框中心點、鼻孔中心點坐標進行逐一組合，計算每個組合的三個參數，分別為邊緣長度、邊緣長度之比、邊緣長度夾角，并由此計算能量函數值E；

S42：設置置信水平為95％，結合步驟S1擬合出的U分布，查表得到標準分z值；

S43：計算置信區間：

a＝μ-z*σ

b＝μ+z*σ

其中μ和σ為分布U的均值和方差，則置信區間為[a,b]；

S44：若只有一組能量函數值E落在置信區間中，則將這一組鼻-眼數據作為最終結果輸出；

若有多組能量函數值E落在置信區間中，則提高步驟S42中的置信水平，再次重復步驟S42-S44；

若沒有能量函數值E落在置信區間中，則進行步驟S5；

S5：將基于模板匹配的人眼定位作為鼻-眼結構的訓練模型的補充，當某幀發生漏檢時，在距離該幀最近的、有結果輸出的上一幀的基礎上進行模板匹配，將匹配的最優結果作為該幀輸出；若模板匹配失敗，直接將上一個有結果幀的輸出作為漏檢幀的最終結果；

S6：在每一幀輸出的人眼局部框中再進行基于ASEF濾波器的瞳孔精定位最后輸出圖像中的瞳孔坐標，最后以一個序列為一組進行一次線性平滑操作實現人眼的實時定位。

2.根據權利要求1所述的基于鼻眼結構約束的人眼定位方法，其特征在于：步驟S2具體包括以下步驟：

S21：將視頻圖像通過于仕琪人臉檢測器檢測出人臉區域，將人臉圖片灰度化后按300像素寬度進行歸一化；

S22：將歸一化后的人臉框分為上半部分和中間1/3部分，分別通過人眼檢測器和鼻孔檢測器。