[發(fā)明專(zhuān)利]基于改進(jìn)混合增量動(dòng)態(tài)貝葉斯網(wǎng)絡(luò)的視覺(jué)注意力檢測(cè)方法

有效

• 申請(qǐng)?zhí)枺?/td>: 201811057186.9
• 申請(qǐng)日: 2018-09-11
• 公開(kāi)（公告）號(hào): CN109711239B
• 公開(kāi)（公告）日: 2023-04-07
• 發(fā)明（設(shè)計(jì)）人: 羅元;陳雪峰;張毅;陳旭;劉星遙
• 申請(qǐng)（專(zhuān)利權(quán)）人: 重慶郵電大學(xué)
• 主分類(lèi)號(hào): G06V40/18
• 分類(lèi)號(hào): G06V40/18;G06V10/84;G06V10/766
• 代理公司: 重慶市恒信知識(shí)產(chǎn)權(quán)代理有限公司 50102
• 代理人: 劉小紅;陳棟梁

本發(fā)明請(qǐng)求保護(hù)一種基于改進(jìn)混合增量動(dòng)態(tài)貝葉斯網(wǎng)絡(luò)的視覺(jué)注意力檢測(cè)方法，該方法融合頭部、視線(xiàn)以及預(yù)測(cè)子模型來(lái)對(duì)其進(jìn)行綜合估計(jì)；在傳統(tǒng)人眼模型的基礎(chǔ)上對(duì)視線(xiàn)檢測(cè)子模型進(jìn)行改進(jìn)，以提升識(shí)別速率增加對(duì)于不同測(cè)試者進(jìn)行檢測(cè)時(shí)的魯棒性；針對(duì)極端姿態(tài)和動(dòng)態(tài)場(chǎng)景下導(dǎo)致的數(shù)據(jù)缺失問(wèn)題，提出了預(yù)測(cè)子模型，利用高斯協(xié)方差來(lái)度量?jī)蓚€(gè)時(shí)刻采樣圖片的相關(guān)性，從而有效改善當(dāng)前時(shí)刻的誤識(shí)別，降低了識(shí)別誤差。其次就相關(guān)子模型進(jìn)行描述，利用條件概率分別建立貝葉斯回歸模型；并利用增量學(xué)習(xí)的方法來(lái)對(duì)模型的參數(shù)進(jìn)行動(dòng)態(tài)更新，用以提升模型整體對(duì)于新輸入數(shù)據(jù)的適應(yīng)性。

技術(shù)領(lǐng)域

本發(fā)明屬于圖像處理與模式識(shí)別領(lǐng)域，特別是一種基于改進(jìn)混合增量動(dòng)態(tài)貝葉斯網(wǎng)絡(luò)的視覺(jué)注意力檢測(cè)方法。

背景技術(shù)

人眼視覺(jué)注意力(Visual?focus?of?attention,VFOA)特指人眼視線(xiàn)所注意的方向及目標(biāo)。其代表了一個(gè)人看的方向，包含豐富的信息，例如：這個(gè)人感興趣的東西、正在做的事情等。這些信息對(duì)于人機(jī)交互、智能輔助駕駛、醫(yī)學(xué)研究、心理學(xué)以及市場(chǎng)分析等領(lǐng)域都具有很高的應(yīng)用價(jià)值。近年來(lái)，特別是在人機(jī)交互方面，視覺(jué)注意力作為一種輸入方式來(lái)輔助其他指令，并判斷面前的是用戶(hù)還是其他人物障礙，從而實(shí)現(xiàn)智能仿生避障，受到學(xué)術(shù)界的廣泛關(guān)注。國(guó)內(nèi)外對(duì)視覺(jué)的注意力檢測(cè)主要是針對(duì)視頻監(jiān)控序列，例如對(duì)視頻會(huì)議監(jiān)控中人物的注意力方向進(jìn)行估計(jì)，從而通過(guò)分析其注意力關(guān)注點(diǎn)來(lái)達(dá)到輔助視頻會(huì)議高效進(jìn)行的效果，而VFOA在人機(jī)交互領(lǐng)域上的研究尚屬于起步階段。隨著人工智能的發(fā)展，基于視覺(jué)注意力的檢測(cè)技術(shù)也逐漸將視覺(jué)、推理以及情感等因素融入其中，構(gòu)建全方位感知的智能時(shí)代，這也是近年來(lái)人工智能的一個(gè)發(fā)展趨勢(shì)。因此，VFOA檢測(cè)的研究不僅具有很深的理論價(jià)值，也具有廣闊的應(yīng)用前景。

目前對(duì)于動(dòng)態(tài)場(chǎng)景以及自由頭勢(shì)下視覺(jué)注意力的檢測(cè)主要存在兩個(gè)問(wèn)題尚需研究：正常用眼情況下，頭部姿態(tài)偏轉(zhuǎn)與視線(xiàn)方向一致，但是不排除方向不一致的情況，因此僅僅使用頭部姿態(tài)來(lái)對(duì)視覺(jué)注意力進(jìn)行檢測(cè)識(shí)別率較低，可靠性不高；圖像分辨率較低時(shí)的影響。在進(jìn)行視線(xiàn)檢測(cè)時(shí)，當(dāng)分辨率較低時(shí)眼睛的寬度所占的像素?cái)?shù)只有幾十個(gè)像素，虹膜區(qū)域大概只有幾個(gè)到十幾個(gè)的像素，因此很難可靠地檢測(cè)到連續(xù)的虹膜輪廓和眼角位置，導(dǎo)致視線(xiàn)方向的估計(jì)結(jié)果有所偏差。基于視線(xiàn)估計(jì)的注意力檢測(cè)對(duì)于動(dòng)態(tài)變化(頭部自由旋轉(zhuǎn)、距離變化)的魯棒性較差。

針對(duì)上述問(wèn)題，本文提出一種改進(jìn)的混合增量動(dòng)態(tài)貝葉斯網(wǎng)絡(luò)模型(ImprovedHybrid?Incremental?Dynamic?Bayesian?Network,IHDBN)的VFOA檢測(cè)方法。融合改進(jìn)的視線(xiàn)估計(jì)、頭部偏轉(zhuǎn)和預(yù)測(cè)子模型建立混合貝葉斯視覺(jué)注意力檢測(cè)模型，將構(gòu)建的網(wǎng)絡(luò)參數(shù)進(jìn)行增量更新，從而提升模型對(duì)于環(huán)境的適應(yīng)性。

發(fā)明內(nèi)容

本發(fā)明旨在解決以上現(xiàn)有技術(shù)的問(wèn)題。提出了一種可獲得較高識(shí)別率、對(duì)頭部自由偏轉(zhuǎn)具有較好的魯棒性的基于改進(jìn)混合增量動(dòng)態(tài)貝葉斯網(wǎng)絡(luò)的視覺(jué)注意力檢測(cè)方法。本發(fā)明的技術(shù)方案如下：

一種基于改進(jìn)混合增量動(dòng)態(tài)貝葉斯網(wǎng)絡(luò)的視覺(jué)注意力檢測(cè)方法，其包括以下步驟：

S1，實(shí)時(shí)對(duì)人臉進(jìn)行定位及預(yù)處理，并提取人臉、人眼關(guān)鍵特征點(diǎn)位置，建立三維人臉坐標(biāo)及建立三維視線(xiàn)幾何模型。

S2，提取人臉特征，并進(jìn)行人臉特征定位，分別建立頭部偏轉(zhuǎn)估計(jì)子模型和視線(xiàn)估計(jì)子模型的貝葉斯回歸后驗(yàn)概率模型。

S3，提出預(yù)測(cè)模型，通過(guò)協(xié)方差矩陣，利用t-1時(shí)刻對(duì)t時(shí)刻的視覺(jué)注意力進(jìn)行估計(jì)。

S4，設(shè)置權(quán)重關(guān)系對(duì)步驟S2的視線(xiàn)估計(jì)模型、頭部估計(jì)子模型以及步驟S3的預(yù)測(cè)子模型進(jìn)行融合。

S5，利用增量學(xué)習(xí)的方法來(lái)對(duì)參數(shù)進(jìn)行動(dòng)態(tài)更新。

進(jìn)一步的，所述建立三維人臉坐標(biāo)具體包括：

通過(guò)RGB-D傳感器獲取頭部位置，由此建立三維人臉坐標(biāo)，以鼻底和嘴角中心的連線(xiàn)作為y軸；鼻底和鼻突方向作為z軸；右手定則確定x軸方向。