[發明專利]基于改進混合增量動態貝葉斯網絡的視覺注意力檢測方法

有效

• 申請號: 201811057186.9
• 申請日: 2018-09-11
• 公開（公告）號: CN109711239B
• 公開（公告）日: 2023-04-07
• 發明（設計）人: 羅元;陳雪峰;張毅;陳旭;劉星遙
• 申請（專利權）人: 重慶郵電大學
• 主分類號: G06V40/18
• 分類號: G06V40/18;G06V10/84;G06V10/766
• 代理公司: 重慶市恒信知識產權代理有限公司 50102
• 代理人: 劉小紅;陳棟梁

1.一種基于改進的混合增量動態貝葉斯網絡的視覺注意力檢測方法，其特征在于，包括以下步驟：

S1，實時對人臉進行定位及預處理，并提取人臉、人眼關鍵特征點位置，建立三維人臉坐標及建立三維視線幾何模型；

S2，通過提取的人臉特征點位置，分別建立頭部偏轉估計子模型和視線估計子模型的貝葉斯回歸后驗概率決策模型；

S3，提出預測模型，通過協方差矩陣，利用t-1時刻對t時刻的視覺注意力進行估計；

S4，設置權重關系對步驟S2的視線估計模型、頭部估計子模型以及步驟S3的預測子模型進行融合；

S5，利用增量學習的方法來對參數進行動態更新；

所述建立三維視線幾何模型具體包括：

S22:確定左外眼眥xe_l、右外眼眥xe_r、左內眼眥ie_l、右內眼眥ie_r、左瞳孔p_l、右瞳孔p_r特征點位置，建立視線幾何模型；

S23:利用步驟S22中的幾何模型，得到眼球大小c表示為c＝[(xe_r-xe_l)-(ie_r-ie_l)]/4，xe_l表示左外眼眥、xe_r表示右外眼眥、ie_l表示左內眼眥、ie_r表示右內眼眥，眼球中心到眉心距離表示為m_l＝(se-xe_l)-c或者m_l＝(se-ie_l)+c；

S24:利用三角余弦定理求得α、β，其中，b_l與b_r分別表示三維視線幾何模型中左右眼視線方向矢量，α表示右眼視線方向b_r的角度；同理，β表示左眼視線矢量b_l的角度，p_r為b_lb_r的交點即為視覺注意力的具體點位置，b_l與b_r的角度分別為人眼中心位置到瞳孔位置的方向，距離分別為人眼中心位置到具體點位置的長度；

所述視線和頭部的貝葉斯回歸后驗概率建立步驟包括:

S31:ψ_t＝(α_t,β_t)為t時刻的視線方向，α_t表示t時刻右眼視線的角度，β_t表示t時刻左眼視線的角度，基于視線估計的視覺注意力條件概率表示為表示t時刻基于視線估計子模型的視覺注意力VFOA檢測、g表示該時刻的視線估計；

S32:右眼視線方向由條件概率P(α|b_r,m_r,d)求得，左眼視線方向為P(β|b_l,m_l,d)；b_l與b_r分別表示三維視線幾何模型中左右眼視線方向矢量；

S33：頭部偏轉的朝向分別表示為T_t＝[T_x,T_y,T_z]和R_t＝[R_x,R_y,R_z]；其中，T_x,T_y,T_z表示在三維人臉模型中頭部的位置、R_x,R_y,R_z表示在三維人臉模型中頭部的偏轉朝向，將頭部可觀測參數記為h_t＝(T_t,R_t)；

S34:計算S33中的可觀測參數的先驗概率，基于頭部姿態的視覺注意力估計子模型后驗概率表示為其中表示t時刻基于頭部子模型的視覺注意力VFOA檢測、h_t表示頭部可觀測參數，∝表示正比于；

所述預測模型建立步驟包括:

S41:獲取t時刻和t-1時刻的樣本幀圖片像素點p_i和p_j，利用高斯協方差矩陣c(p_i,p_j)來度量兩個時刻采樣圖片的相關性，利用相關性來對下一時刻進行預測，t時刻和t-1時刻的樣本幀圖片像素點之間的相關性表示為σ_c和l表示不同幀中特征點的變化標準差及相對距離、p_i、p_j分別表示在t時刻和t-1時刻獲取的樣本幀圖片像素點灰度值；

S42:t時刻和t-1時刻的樣本幀圖片協方差矩陣表示為：

S43:利用步驟S42求得的協方差矩陣C，t時刻的預測模型注意力估計則表示為P(F_Pt|F_t-1)∝P_t-1＝CC^-1F_t-1；F_Pt表示t時刻基于預測模型的視覺注意力估計，F_t-1t-1時刻的預測模型注意力估計；

所述利用增量學習的方法來對參數進行動態更新，網絡增量動態更新步驟包括:

S61：S為模型讀取的新數據樣本，p*(h_t)表示在t時刻更新后的頭部概率密度，ψ_t*表示t時刻更新后的視線參數，更新過程如下：

S62：選取貝葉斯信息準則BIC為注意力檢測模型的網絡評分函數，選取在設定范圍內的ω_i取值得到從而得到BIC評分函數最高的網絡結構；

S63：得到更新后的網絡表示為：

表示更新后的貝葉斯決策網絡，ω₁、ω₂、ω₃分別表示頭部估計子模型、視線估計子模型以及預測子模型在視覺注意力估計時分別所占權重。