[發(fā)明專利]一種基于自注意力的卒中患者表情識(shí)別方法及系統(tǒng)

在審

• 申請(qǐng)?zhí)枺?/td>: 202210087537.0
• 申請(qǐng)日: 2022-01-25
• 公開(kāi)（公告）號(hào): CN114429659A
• 公開(kāi)（公告）日: 2022-05-03
• 發(fā)明（設(shè)計(jì)）人: 朱嘯宇;陸小鋒;曾鳳珍;宋海洋;朱民耀;王鶴瑋;賈杰
• 申請(qǐng)（專利權(quán)）人: 上海大學(xué)
• 主分類號(hào): G06V40/16
• 分類號(hào): G06V40/16;G06K9/62;G06N3/04;G06N3/08;G06V10/774;G06V10/82
• 代理公司: 北京高沃律師事務(wù)所 11569
• 代理人: 趙興華

1.一種基于自注意力的卒中患者表情識(shí)別方法，其特征在于，所述方法包括：

獲取卒中患者表情數(shù)據(jù)集；

構(gòu)建基于ViT的表情識(shí)別模型；

通過(guò)人臉表情數(shù)據(jù)集和所述卒中患者表情數(shù)據(jù)集對(duì)所述基于ViT的表情識(shí)別模型進(jìn)行訓(xùn)練；

通過(guò)訓(xùn)練好的基于ViT的表情識(shí)別模型識(shí)別卒中患者表情的類別。

2.根據(jù)權(quán)利要求1所述的基于自注意力的卒中患者表情識(shí)別方法，其特征在于，所述獲取卒中患者表情數(shù)據(jù)集，具體包括：

獲取卒中患者的表情視頻；

對(duì)所述表情視頻進(jìn)行標(biāo)注，得到各類表情的分段視頻；

將各所述分段視頻進(jìn)行圖片化處理，得到各類表情的圖片組；所述圖片組中的圖片包括表情起始狀態(tài)、表情結(jié)束狀態(tài)和表情峰值狀態(tài)；

框出所述各類表情的圖片組中的人臉，得到臉部圖片；

將所述臉部圖片進(jìn)行縮放，得到所述卒中患者表情數(shù)據(jù)集。

3.根據(jù)權(quán)利要求1所述的基于自注意力的卒中患者表情識(shí)別方法，其特征在于，所述基于ViT的表情識(shí)別模型包括：依次連接的卷積嵌入模塊、Transformer模塊、多通道特征提取模塊以及輸出模塊。

4.根據(jù)權(quán)利要求3所述的基于自注意力的卒中患者表情識(shí)別方法，其特征在于，所述Transformer模塊包括：Encoder和塊整合網(wǎng)絡(luò)。

5.根據(jù)權(quán)利要求3所述的基于自注意力的卒中患者表情識(shí)別方法，其特征在于，所述通過(guò)人臉表情數(shù)據(jù)集和所述卒中患者表情數(shù)據(jù)集對(duì)所述基于ViT的表情識(shí)別模型進(jìn)行訓(xùn)練，具體包括：

以人臉表情數(shù)據(jù)集作為輸入，以各類表情的置信度為輸出，對(duì)所述基于ViT的表情識(shí)別模型進(jìn)行預(yù)訓(xùn)練，得到預(yù)訓(xùn)練模型；置信度最高的表情類別為預(yù)訓(xùn)練模型的預(yù)測(cè)結(jié)果；

對(duì)所述卒中患者表情數(shù)據(jù)集進(jìn)行增強(qiáng)，得到增強(qiáng)后的表情數(shù)據(jù)集；

以所述增強(qiáng)后的表情數(shù)據(jù)集作為輸入，以各類表情的置信度為輸出，對(duì)所述預(yù)訓(xùn)練模型進(jìn)行訓(xùn)練，得到訓(xùn)練好的基于ViT的表情識(shí)別模型；置信度最高的表情類別為訓(xùn)練好的基于ViT的表情識(shí)別模型的預(yù)測(cè)結(jié)果。

6.一種基于自注意力的卒中患者表情識(shí)別系統(tǒng)，其特征在于，所述系統(tǒng)包括：

數(shù)據(jù)集獲取單元，用于獲取卒中患者表情數(shù)據(jù)集；

構(gòu)建單元，用于構(gòu)建基于ViT的表情識(shí)別模型；

訓(xùn)練單元，用于通過(guò)人臉表情數(shù)據(jù)集和所述卒中患者表情數(shù)據(jù)集對(duì)所述基于ViT的表情識(shí)別模型進(jìn)行訓(xùn)練；

識(shí)別單元，用于通過(guò)訓(xùn)練好的基于ViT的表情識(shí)別模型識(shí)別卒中患者表情的類別。

7.根據(jù)權(quán)利要求6所述的基于自注意力的卒中患者表情識(shí)別系統(tǒng)，其特征在于，所述數(shù)據(jù)集獲取單元包括：

表情視頻獲取子單元，用于獲取卒中患者的表情視頻；

標(biāo)注子單元，用于對(duì)所述表情視頻進(jìn)行標(biāo)注，得到各類表情的分段視頻；

圖片處理子單元，用于將各所述分段視頻進(jìn)行圖片化處理，得到各類表情的圖片組；所述圖片組中的圖片包括表情起始狀態(tài)、表情結(jié)束狀態(tài)和表情峰值狀態(tài)；

臉部圖片確定子單元，用于框出所述各類表情的圖片組中的人臉，得到臉部圖片；

數(shù)據(jù)集確定子單元，用于將所述臉部圖片進(jìn)行縮放，得到所述卒中患者表情數(shù)據(jù)集。

8.根據(jù)權(quán)利要求6所述的基于自注意力的卒中患者表情識(shí)別系統(tǒng)，其特征在于，所述基于ViT的表情識(shí)別模型包括：依次連接的卷積嵌入模塊、Transformer模塊、多通道特征提取模塊以及輸出模塊。

9.根據(jù)權(quán)利要求8所述的基于自注意力的卒中患者表情識(shí)別系統(tǒng)，其特征在于，所述Transformer模塊包括：Encoder和塊整合網(wǎng)絡(luò)。

10.根據(jù)權(quán)利要求8所述的基于自注意力的卒中患者表情識(shí)別系統(tǒng)，其特征在于，所述訓(xùn)練單元包括：

預(yù)訓(xùn)練模型確定子單元，用于以人臉表情數(shù)據(jù)集作為輸入，以各類表情的置信度為輸出，對(duì)所述基于ViT的表情識(shí)別模型進(jìn)行預(yù)訓(xùn)練，得到預(yù)訓(xùn)練模型；置信度最高的表情類別為預(yù)訓(xùn)練模型的預(yù)測(cè)結(jié)果；

增強(qiáng)數(shù)據(jù)集子單元，用于對(duì)所述卒中患者表情數(shù)據(jù)集進(jìn)行增強(qiáng)，得到增強(qiáng)后的表情數(shù)據(jù)集；

表情識(shí)別模型確定子單元，用于以所述增強(qiáng)后的表情數(shù)據(jù)集作為輸入，以各類表情的置信度為輸出，對(duì)所述預(yù)訓(xùn)練模型進(jìn)行訓(xùn)練，得到訓(xùn)練好的基于ViT的表情識(shí)別模型；置信度最高的表情類別為預(yù)訓(xùn)練模型的預(yù)測(cè)結(jié)果。