[發(fā)明專利]基于眼睛凝視熱力圖的人格預(yù)測(cè)方法

在審

• 申請(qǐng)?zhí)枺?/td>: 201811526903.8
• 申請(qǐng)日: 2018-12-13
• 公開（公告）號(hào): CN109711291A
• 公開（公告）日: 2019-05-03
• 發(fā)明（設(shè)計(jì)）人: 孫曉;鄭仕鑫
• 申請(qǐng)（專利權(quán)）人: 合肥工業(yè)大學(xué)
• 主分類號(hào): G06K9/00
• 分類號(hào): G06K9/00;G06N3/08
• 代理公司: 北京久誠(chéng)知識(shí)產(chǎn)權(quán)代理事務(wù)所(特殊普通合伙) 11542
• 代理人: 余罡

1.一種基于眼睛凝視熱力圖的人格預(yù)測(cè)方法，其特征在于，包括：

獲取被測(cè)試人觀看刺激視頻時(shí)的面部活動(dòng)視頻；

根據(jù)所述面部活動(dòng)視頻，確定所述被測(cè)試人眼睛凝視熱力圖；

從所述眼睛凝視熱力圖提取特征；

將從所述眼睛凝視熱力圖提取的特征，應(yīng)用預(yù)先訓(xùn)練后的人格預(yù)測(cè)模型，得出所述被測(cè)試人的人格預(yù)測(cè)值。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述根據(jù)所述面部活動(dòng)視頻，確定所述被測(cè)試人眼睛凝視熱力圖包括：

根據(jù)所述面部活動(dòng)視頻，應(yīng)用預(yù)先存儲(chǔ)的深度學(xué)習(xí)模型，得出所述被測(cè)試人眼睛凝視點(diǎn)分布圖；

根據(jù)所述眼睛凝視點(diǎn)分布圖，得到所述眼睛凝視熱力圖。

3.根據(jù)權(quán)利要求1或2所述的方法，其特征在于，所述從所述眼睛凝視熱力圖提取特征之后，還包括：

獲取所述被測(cè)試人觀看所述刺激視頻的情感特征及人格特征；

根據(jù)從所述眼睛凝視熱力圖提取的特征及所述情感特征，得出包含六種情感的情感預(yù)測(cè)模型；

根據(jù)所述人格特征及所述六種情感，得到所述訓(xùn)練后的人格預(yù)測(cè)模型。

4.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述根據(jù)所述面部活動(dòng)視頻，應(yīng)用預(yù)先存儲(chǔ)的深度學(xué)習(xí)模型，得出所述被測(cè)試人眼睛凝視點(diǎn)分布圖包括：

應(yīng)用所述深度學(xué)習(xí)模型對(duì)所述面部活動(dòng)視頻進(jìn)行處理，所述面部活動(dòng)視頻的每一幀得到一組數(shù)據(jù)，每組數(shù)據(jù)包括拍攝所述面部活動(dòng)視頻的攝像頭與所述被測(cè)試人面部的相對(duì)坐標(biāo)(Dx，Dy，Dz)，以及所述被測(cè)試人眼睛凝視角度的空間向量(x，y，z)，；其中，Dx，Dy，Dz分別表示所述被測(cè)試人面部與所述攝像頭在X、Y、Z軸上的相對(duì)距離，所述空間向量(x，y，z)表示一個(gè)相對(duì)于所述攝像頭平面的三維向量；

獲取所述被測(cè)試人眼睛所注視到所述攝像頭所在平面的位置坐標(biāo)

使用坐標(biāo)公式計(jì)算得到所述面部活動(dòng)視頻的每一幀所述被測(cè)試人眼睛所注視到所述攝像頭所在平面的位置坐標(biāo)，從而得出所述被測(cè)試人眼睛凝視點(diǎn)分布圖。

5.根據(jù)權(quán)利要求2或4所述的方法，其特征在于，所述根據(jù)所述眼睛凝視點(diǎn)分布圖，得到所述眼睛凝視熱力圖包括：

將所述眼睛凝視點(diǎn)分布圖中凝視點(diǎn)的坐標(biāo)值調(diào)整為-1～1范圍內(nèi)；

采用向下取整的方法將各凝視點(diǎn)離散化到一個(gè)二維數(shù)組，得到所述眼睛凝視熱力圖，所述二維數(shù)組大小為n*n，n的值選取到內(nèi)。

6.根據(jù)權(quán)利要求1或5所述的方法，其特征在于，所述從所述眼睛凝視熱力圖提取特征包括：

應(yīng)用卷積網(wǎng)絡(luò)提取眼睛凝視熱力圖的內(nèi)隱特征，并提取眼睛凝視熱力圖的方向梯度直方圖HOG特征，用所述眼睛凝視熱力圖中的梯度變化反映眼睛注視角度的變化。

7.根據(jù)權(quán)利要求3或6所述的方法，其特征在于，所述獲取所述被測(cè)試人觀看所述刺激視頻的情感特征及人格特征包括：

獲取所述被測(cè)試人提供的觀看刺激視頻的所述情感特征，所述情感特征包括高興、驚奇、厭惡、悲傷、憤怒和恐懼；

獲取所述被測(cè)試人提供的觀看刺激視頻的所述人格特征，所述人格特征包括五種人格：神經(jīng)質(zhì)性Neuroticism、外向性Extroversion、開放性O(shè)penness、隨和性Agreeableness和盡責(zé)性Conscientiousness。

8.根據(jù)權(quán)利要求3或7所述的方法，其特征在于，所述根據(jù)從所述眼睛凝視熱力圖提取的特征及所述情感特征，得出包含六種情感的情感預(yù)測(cè)模型包括：

將從所述眼睛凝視熱力圖提取的特征作為輸入特征向量，并對(duì)提取的特征的特征值進(jìn)行正則化處理，將所述情感特征作為標(biāo)簽，使用深度神經(jīng)網(wǎng)絡(luò)，通過前向傳播和反向傳播計(jì)算得所述六種情感的預(yù)測(cè)模型。