[發(fā)明專利]目標對象的情緒特征確定方法、裝置、設(shè)備及存儲介質(zhì)

有效

• 申請?zhí)枺?/td>: 202211237406.2
• 申請日: 2022-10-10
• 公開（公告）號: CN115762772B
• 公開（公告）日: 2023-07-25
• 發(fā)明（設(shè)計）人: 劉三亮;劉岸風
• 申請（專利權(quán)）人: 北京中科睿醫(yī)信息科技有限公司
• 主分類號: G16H50/30
• 分類號: G16H50/30;G16H20/70;G06V20/40;G06V40/16;G06N3/04;G06N3/084;G06Q10/06;A61B5/16;A61B5/0205;A61B5/00
• 代理公司: 北京清大紫荊知識產(chǎn)權(quán)代理有限公司 11718
• 代理人: 周曉飛

1.一種目標對象的情緒特征確定方法，所述方法包括：

獲取目標對象的眼動數(shù)據(jù)、心率以及所述目標對象所在場景的視頻圖像；

從所述視頻圖像中識別出所述場景內(nèi)人員對所述目標對象的注視情況；

根據(jù)所述眼動數(shù)據(jù)、所述心率和所述注視情況中的至少兩種數(shù)據(jù)，確定所述目標對象的情緒特征；

從所述視頻圖像中識別出所述場景內(nèi)人員對所述目標對象的注視情況，包括：

從所述視頻圖像中識別出所述場景內(nèi)除所述目標對象之外的每個人的人臉朝向；

根據(jù)所述每個人的人臉朝向，確定所述場景內(nèi)注視所述目標對象的人員數(shù)量；

從所述視頻圖像中識別出所述場景內(nèi)除所述目標對象之外的所述每個人的人臉朝向，包括：

將所述視頻圖像中的人臉圖像轉(zhuǎn)換成數(shù)字特征值；

從所述數(shù)字特征值中提取人臉位置信息的特征向量；

根據(jù)所述人臉位置信息的特征向量，提取人臉邊界信息；

根據(jù)所述人臉邊界信息，提取五官特征；

根據(jù)所述五官特征，確定人臉朝向；

根據(jù)所述五官特征，確定人臉朝向，包括：

將所述五官特征輸入BP神經(jīng)網(wǎng)絡(luò)，所述BP神經(jīng)網(wǎng)絡(luò)輸出所述人臉朝向，所述人臉朝向包括左、中左、中間、中右以及右；

根據(jù)所述眼動數(shù)據(jù)、所述心率和所述注視情況中的至少兩種數(shù)據(jù)，確定所述目標對象的情緒特征，包括：

響應(yīng)于所述眼動數(shù)據(jù)達到預(yù)設(shè)條件時，標記獲取的所述心率和所述注視情況，以用于確定所述目標對象的情緒特征，所述預(yù)設(shè)條件包括：所述目標對象注視所述場景內(nèi)的同一位置達到預(yù)設(shè)時長。

2.根據(jù)權(quán)利要求1所述的方法，其中，還包括：

根據(jù)所述眼動數(shù)據(jù)中所述目標對象的眼睛的注視點，計算所述目標對象的眼動速度和眼動最大幅度，其中，所述眼動最大幅度為眼睛當前注視方向與眼睛前方的夾角；

當所述眼動速度和所述眼動最大幅度在所述預(yù)設(shè)時長內(nèi)未發(fā)生變化時，確定所述目標對象注視所述場景內(nèi)的同一位置達到所述預(yù)設(shè)時長。

3.根據(jù)權(quán)利要求2所述的方法，其中，通過以下公式計算所述目標對象的眼動速度：

其中，為所述預(yù)設(shè)時長內(nèi)的平均的眼動速度，為第幀的眼動瞬時速度，，為表示眼球移動的三維向量的夾角，為所述預(yù)設(shè)時長內(nèi)采集眼動的幀數(shù)。

4.一種目標對象的情緒特征確定裝置，所述裝置包括：

數(shù)據(jù)獲取單元，用于獲取目標對象的眼動數(shù)據(jù)、心率以及所述目標對象所在場景的視頻圖像；

圖像處理單元，用于從所述視頻圖像中識別出所述場景內(nèi)人員對所述目標對象的注視情況；

情緒確定單元，用于根據(jù)所述眼動數(shù)據(jù)、所述心率和所述注視情況中的至少兩種數(shù)據(jù)，確定所述目標對象的情緒特征；

所述圖像處理單元，包括：人臉朝向確定子單元和注視數(shù)量確定子單元，

所述人臉朝向確定子單元，被配置成從所述視頻圖像中識別出所述場景內(nèi)除所述目標對象之外的每個人的人臉朝向；注視數(shù)量確定子單元，被配置成根據(jù)所述場景內(nèi)除所述目標對象之外的每個人的人臉朝向，確定所述場景內(nèi)注視所述目標對象的人員數(shù)量；

所述人臉朝向確定子單元，被配置成將所述視頻圖像中的人臉圖像轉(zhuǎn)換成數(shù)字特征值；從所述數(shù)字特征值中提取人臉位置信息的特征向量；根據(jù)所述人臉位置信息的特征向量，提取人臉邊界信息；根據(jù)所述人臉邊界信息，提取五官特征；根據(jù)所述五官特征，確定人臉朝向；

所述人臉朝向確定子單元，還被配置成將所述五官特征輸入BP神經(jīng)網(wǎng)絡(luò)，所述BP神經(jīng)網(wǎng)絡(luò)輸出所述人臉朝向，所述人臉朝向包括左、中左、中間、中右以及右；

所述情緒確定單元，還被配置成響應(yīng)于所述眼動數(shù)據(jù)達到預(yù)設(shè)條件時，標記獲取的所述心率和所述注視情況，以用于確定所述目標對象的情緒特征，所述預(yù)設(shè)條件包括：所述目標對象注視所述場景內(nèi)的同一位置達到預(yù)設(shè)時長。

5.一種電子設(shè)備，包括：

一個或多個處理器；

存儲裝置，用于存儲一個或多個程序，

當所述一個或多個程序被所述一個或多個處理器執(zhí)行，使得所述一個或多個處理器實現(xiàn)如權(quán)利要求1至3中任一所述的方法。

6.一種計算機可讀存儲介質(zhì)，其上存儲有計算機程序，其中，該程序被處理器執(zhí)行時實現(xiàn)如權(quán)利要求1至3中任一所述的方法。