[發(fā)明專利]一種基于AI深度學(xué)習(xí)的多模態(tài)情感分析方法及其系統(tǒng)

有效

• 申請?zhí)枺?/td>: 202110083560.8
• 申請日: 2021-01-21
• 公開（公告）號: CN112766173B
• 公開（公告）日: 2023-08-04
• 發(fā)明（設(shè)計）人: 劉德建;范劍敏;吳林旭;林劍鋒;林琛
• 申請（專利權(quán)）人: 福建天泉教育科技有限公司
• 主分類號: G06V40/20
• 分類號: G06V40/20;G06V40/70;G06V40/16;G06V10/80;G06V10/82;G06N3/08
• 代理公司: 福州旭辰知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 35233
• 代理人: 程勇

本發(fā)明提供了一種基于AI深度學(xué)習(xí)的多模態(tài)情感分析方法，所述方法為：步驟S1、對不同類型的用戶進(jìn)行情感模型的建立；步驟S2、通過相機(jī)/攝像頭捕捉學(xué)生上課反應(yīng)以及手勢動作，學(xué)生帶上傳感器，通過傳感器采集生理數(shù)據(jù)；步驟S3、將獲取的圖片數(shù)據(jù)和生理數(shù)據(jù)輸入到計算機(jī)，通過多模態(tài)情感分析學(xué)生的情感變化，來得到學(xué)生情感變化要表達(dá)的意圖，來確定學(xué)生注意力是否轉(zhuǎn)移；步驟S4、收到反饋報告，得出學(xué)生學(xué)習(xí)興趣的情況；本發(fā)明能根據(jù)學(xué)生興趣情況對教學(xué)方案做出調(diào)整，個性化作業(yè)布置和輔導(dǎo)，滿足學(xué)生的需求。

技術(shù)領(lǐng)域

本發(fā)明涉及計算機(jī)通訊技術(shù)領(lǐng)域，特別是一種基于AI深度學(xué)習(xí)的多模態(tài)情感分析方法及其系統(tǒng)。

背景技術(shù)

從心理學(xué)的角度看，興趣是人對客觀事物的一種積極的認(rèn)識傾向，是一種復(fù)雜的個性品質(zhì)，它推動人去探求新的知識，發(fā)展新的能力。在學(xué)生學(xué)習(xí)過程中，興趣是十分重要的。

微表情反映了人試圖壓抑與隱藏的真實(shí)情感，是一種有效的非言語線索。在臨床領(lǐng)域，臨床心理學(xué)家或許可以仔細(xì)觀察患者，發(fā)現(xiàn)其微表情，了解患者對特定事或人的真正態(tài)度和想法，從而對癥治療，縮短治療時間；在司法領(lǐng)域，法官或許可以藉由人臉上的微表情，判斷人是否在撒謊：在安全領(lǐng)域，安全人員或許可以藉由微表情判斷對方是否有攻擊的意圖，從而防患于未然。

現(xiàn)今，人臉識別在個人使用、商業(yè)和政府應(yīng)用中都具有巨大潛力。這項(xiàng)技術(shù)還在不斷進(jìn)步和發(fā)展中，其應(yīng)用越來越普及。現(xiàn)有的人物情感分析采用：1、面部圖像識別技術(shù)/人臉識別技術(shù)；2、美國麻省理工學(xué)院計算機(jī)科學(xué)與人工智能實(shí)驗(yàn)室打造了用無線信號監(jiān)測情緒的EQ-Radio；3、SoftBank?Robotics?NAO類人機(jī)器人；現(xiàn)有技術(shù)的缺點(diǎn)：在情感識別中，人的情感在表達(dá)時由生理、心理、表情和音調(diào)等多個模態(tài)信息共同組成，使用單模態(tài)進(jìn)行情感識別時，由于情感表示信息不足容易導(dǎo)致一些情緒的識別率較差等。

發(fā)明內(nèi)容

為克服上述問題，本發(fā)明的目的是提供一種基于AI深度學(xué)習(xí)的多模態(tài)情感分析方法，通過語音情感、視覺情感、肢體情感、生理指標(biāo)情感進(jìn)行情感分析，能更加準(zhǔn)確地獲得學(xué)生的學(xué)習(xí)興趣。

本發(fā)明采用以下方案實(shí)現(xiàn)：一種基于AI深度學(xué)習(xí)的多模態(tài)情感分析方法，所述方法包括如下步驟：

步驟S1、對不同類型的用戶進(jìn)行情感模型的建立；

步驟S2、通過相機(jī)/攝像頭捕捉學(xué)生上課反應(yīng)以及手勢動作，學(xué)生帶上傳感器，通過傳感器采集生理數(shù)據(jù)；

步驟S3、將獲取的圖片數(shù)據(jù)和生理數(shù)據(jù)輸入到計算機(jī)，通過多模態(tài)情感分析學(xué)生的情感變化，來得到學(xué)生情感變化要表達(dá)的意圖，來確定學(xué)生注意力是否轉(zhuǎn)移；

步驟S4、收到反饋報告，得出學(xué)生學(xué)習(xí)興趣的情況。

進(jìn)一步的，所述步驟S1進(jìn)一步具體為：對不同類型的用戶進(jìn)行情感模型的建立，該不同類型的用戶包括：用戶操作方式、表情特點(diǎn)、態(tài)度喜好、認(rèn)知風(fēng)格、或者用戶知識背景；通過收集人的生理特征和行為特征，以數(shù)學(xué)形式對情感進(jìn)行定義，建立情感的數(shù)學(xué)分析模型，實(shí)現(xiàn)情感的合并運(yùn)算和合成運(yùn)算，根據(jù)情感的不同變化特征對情感進(jìn)行分類，形成不同的情感模型，情感模型包括語音情感、視覺情感、肢體情感、生理指標(biāo)情感。