[發(fā)明專利]一種基于AI深度學習的多模態(tài)情感分析方法及其系統(tǒng)

有效

• 申請?zhí)枺?/td>: 202110083560.8
• 申請日: 2021-01-21
• 公開（公告）號: CN112766173B
• 公開（公告）日: 2023-08-04
• 發(fā)明（設計）人: 劉德建;范劍敏;吳林旭;林劍鋒;林琛
• 申請（專利權）人: 福建天泉教育科技有限公司
• 主分類號: G06V40/20
• 分類號: G06V40/20;G06V40/70;G06V40/16;G06V10/80;G06V10/82;G06N3/08
• 代理公司: 福州旭辰知識產權代理事務所(普通合伙) 35233
• 代理人: 程勇

1.一種基于AI深度學習的多模態(tài)情感分析方法，其特征在于：所述方法包括如下步驟：

步驟S1、對不同類型的用戶進行情感模型的建立；

步驟S2、通過相機/攝像頭捕捉學生上課反應以及手勢動作，學生帶上傳感器，通過傳感器采集生理數據；

步驟S3、將獲取的圖片數據和生理數據輸入到計算機，通過多模態(tài)情感分析學生的情感變化，來得到學生情感變化要表達的意圖，來確定學生注意力是否轉移；

步驟S4、收到反饋報告，得出學生學習興趣的情況；

所述步驟S1具體為：對不同類型的用戶進行情感模型的建立，所述不同類型包括：用戶操作方式、表情特點、態(tài)度喜好、認知風格或者用戶知識背景；通過收集人的生理特征和行為特征，以數學形式對情感進行定義，建立情感的數學分析模型，實現情感的合并運算和合成運算，根據情感的不同變化特征對情感進行分類，形成不同的情感模型，情感模型包括語音情感、視覺情感、肢體情感、生理指標情感；

所述通過傳感器采集生理數據即通過傳感器采集人的生理信號，最終識別出包含在信號中的情感；傳感器包括了在頭皮處將人的大腦產生的微弱的生物電信號收集、放大并記錄的腦電帽或感應頭環(huán)；通過電容燈光射向皮膚，透過皮膚組織反射回的光被光敏傳感器接受并轉換成電信號，再經過電信號轉換成數字信號，再根據血液的吸光率得出心率的光學心率傳感器；當人的機體受到外界刺激或者情緒狀態(tài)發(fā)生變化時，人的神經系統(tǒng)的活動會引起皮膚內血管的舒張和收縮以及汗腺分泌變化，從而導致電阻發(fā)生改變的皮電反應傳感器；通過多通道傳感器獲取到交互者當前情感狀態(tài)下不同模態(tài)的情感信號，進行數據融合與決策，來判別出對應的情感類別屬性；

所述通過多模態(tài)情感分析學生的情感變化，其中多模態(tài)情感中的語音情感由計算機自動識別輸入語言的情感狀態(tài)，由語音信號預處理和聲學情感特征提取組成；要把各種具體模式的語言聲調表情在時間構造、振幅構造、基頻構造和共振峰構造方面的特點和分布規(guī)律進行測算和分析，并以此為基礎或者模板，能識別出所有語言聲調中所隱含的情感內容；

所述語音信號預處理，需要實現語音信號的采集，采用麥克風進行語音采集，預處理即包括預濾波、采樣和量化、分幀、加窗、預加重、端點檢測；

所述聲學情感特征提取，分為語言學和非語言學特征，基于語言學的情感特征包含于語義信息中，語義信息為詞匯、語法、語境和句法，非語言學特征就是基于聲學的情感特征，其中聲學情感特征提取有基頻、共振峰、Mel頻率倒數系數、非個性化特征、特征統(tǒng)計的方式；

所述通過多模態(tài)情感分析學生的情感變化，其中多模態(tài)情感中的視覺情感是利用計算機對人臉的表情信息進行特征提取分析，按照人的認知和思維方式加以歸類和理解，對人臉信息中分析理解人的情緒和情感，也就是人臉表情識別系統(tǒng)框架，該人臉表情識別系統(tǒng)框架分為人臉檢測定位獲取、人臉表情特征提取、人臉表情特征分類；

所述人臉檢測定位獲取有三種，即基于人臉幾何特征的方法、基于人臉膚色模型的方法和基于人臉統(tǒng)計理論的方法；其中基于人臉幾何特征的方法又包括三種，一是基于先驗知識的方法，該方法利用人類的灰度差異和對稱性來制定相應準則檢測人臉是否存在；二是基于特征不變的方法，該方法是檢測眼睛、鼻子、嘴巴不變的特定特征來判斷人臉的存在；三是基于模板的方法，該方法給定一個人臉模板，并確定其模板的值，通過對照的方法，如果模板匹配則檢測出人臉，否則檢測錯誤；基于人臉膚色模型的方法，通過建立相應的模型來描述，檢測時首先根據被測圖像像素與膚色模型的相似程度，結合空間相關性將人臉區(qū)域從背景中分割出來；然后對分割出的區(qū)域進行幾何特征分析，確定與人臉特征的相關值，從而排除非人臉的似膚色區(qū)域，達到檢測人臉的目的；基于人臉統(tǒng)計理論的方法，從整個人臉的角度出發(fā)，利用統(tǒng)計的原理，從眾多圖像中提出人臉共有的特征來進行人臉檢測；描述人臉特征方法有子空間、支持向量機、隱馬爾可夫模型、神經網絡和迭代算法Adaboost；

所述人臉表情特征提取核心目標是提取人臉圖像中可分性好的表情信息，同時達到數據降維的目的；

所述人臉表情特征分類核心目標是對得到的表情特征向量進行分類，得到表情所屬的類別，該類別包括人臉運動單元AU組合或基本表情類別，基本表情類別包括表情識別和表情概述；分類表人臉表情特征方法有：線性分類器、神經網絡分類器、支持向量機、隱馬爾可夫模型分類識別方法；

肢體情感，一個完整的手勢識別系統(tǒng)包括三個部分和三個過程，三個部分分別是：采集部分、?分類部分和識別部分；三個過程分別是：分割過程、?跟蹤過程和識別過程；采集部分就是用相機/攝像頭捕捉學生上課反應，在多目的手勢識別中，攝像頭以一定的關系分布在用戶前方；在單目的情況下，攝像頭所在的平面應該和用戶的手部運動所在的平面基本水平；識別部分包括了語法對應單位和相應的跟蹤機制，通過分類得到的手部形狀通過這里一一對應確定的語義和控制命令；分割過程包括了對得到的實時視頻圖像進行逐幀的手部分割，首先得到需要關注的區(qū)域，其次在對得到的區(qū)域進行細致分割，直到得到所需要的手指和手掌的形狀；跟蹤過程包括對手部的不斷定位和跟蹤，并估計下一幀手的位置；識別過程通過對之前的知識確定手勢的意義，?并做出相應的反應；

生理指標情感，是通過傳感器采集人的生理信號最終識別出包含在信號中的情感，生理信號包括有腦電信號、眼動信號、肌電信號、皮膚電信號、心電信號和呼吸信號類,?并且在采集之后進一步對信號進行預處理,?然后分析哪種生理信號模式和特定情感狀態(tài)最密切。

2.一種基于AI深度學習的多模態(tài)情感分析系統(tǒng)，其特征在于：所述系統(tǒng)包括模型建立模塊、數據采集模塊、多模態(tài)情感分析模塊、以及興趣反饋模塊；

所述模型建立模塊，用于對不同類型的用戶進行情感模型的建立；

所述數據采集模塊，通過相機/攝像頭捕捉學生上課反應以及手勢動作，學生帶上傳感器，通過傳感器采集生理數據；

所述多模態(tài)情感分析模塊，將獲取的圖片數據和生理數據輸入到計算機，通過多模態(tài)情感分析學生的情感變化，來得到學生情感變化要表達的意圖，來確定學生注意力是否轉移；

所述興趣反饋模塊，收到反饋報告，得出學生學習興趣的情況；

所述模型建立模塊的實現方式具體為：對不同類型的用戶進行情感模型的建立，所述不同類型包括：用戶操作方式、表情特點、態(tài)度喜好、認知風格或者用戶知識背景；通過收集人的生理特征和行為特征，以數學形式對情感進行定義，建立情感的數學分析模型，實現情感的合并運算和合成運算，根據情感的不同變化特征對情感進行分類，形成不同的情感模型，情感模型包括語音情感、視覺情感、肢體情感、生理指標情感；

所述通過傳感器采集生理數據即通過傳感器采集人的生理信號，最終識別出包含在信號中的情感；傳感器包括了在頭皮處將人的大腦產生的微弱的生物電信號收集、放大并記錄的腦電帽或感應頭環(huán)；通過電容燈光射向皮膚，透過皮膚組織反射回的光被光敏傳感器接受并轉換成電信號，再經過電信號轉換成數字信號，再根據血液的吸光率得出心率的光學心率傳感器；當人的機體受到外界刺激或者情緒狀態(tài)發(fā)生變化時，人的神經系統(tǒng)的活動會引起皮膚內血管的舒張和收縮以及汗腺分泌變化，從而導致電阻發(fā)生改變的皮電反應傳感器；通過多通道傳感器獲取到交互者當前情感狀態(tài)下不同模態(tài)的情感信號，進行數據融合與決策，來判別出對應的情感類別屬性；

所述通過多模態(tài)情感分析學生的情感變化，其中多模態(tài)情感中的語音情感由計算機自動識別輸入語言的情感狀態(tài)，由語音信號預處理和聲學情感特征提取組成；要把各種具體模式的語言聲調表情在時間構造、振幅構造、基頻構造和共振峰構造方面的特點和分布規(guī)律進行測算和分析，并以此為基礎或者模板，能識別出所有語言聲調中所隱含的情感內容；

所述語音信號預處理，需要實現語音信號的采集，采用麥克風進行語音采集，預處理即包括預濾波、采樣和量化、分幀、加窗、預加重、端點檢測；

所述聲學情感特征提取，分為語言學和非語言學特征，基于語言學的情感特征包含于語義信息中，語義信息為詞匯、語法、語境和句法，非語言學特征就是基于聲學的情感特征，其中聲學情感特征提取有基頻、共振峰、Mel頻率倒數系數、非個性化特征、特征統(tǒng)計的方式；

所述通過多模態(tài)情感分析學生的情感變化，其中多模態(tài)情感中的視覺情感是利用計算機對人臉的表情信息進行特征提取分析，按照人的認知和思維方式加以歸類和理解，對人臉信息中分析理解人的情緒和情感，也就是人臉表情識別系統(tǒng)框架，該人臉表情識別系統(tǒng)框架分為人臉檢測定位獲取、人臉表情特征提取、人臉表情特征分類；

所述人臉檢測定位獲取有三種，即基于人臉幾何特征的方法、基于人臉膚色模型的方法和基于人臉統(tǒng)計理論的方法；其中基于人臉幾何特征的方法又包括三種，一是基于先驗知識的方法，該方法利用人類的灰度差異和對稱性來制定相應準則檢測人臉是否存在；二是基于特征不變的方法，該方法是檢測眼睛、鼻子、嘴巴不變的特定特征來判斷人臉的存在；三是基于模板的方法，該方法給定一個人臉模板，并確定其模板的值，通過對照的方法，如果模板匹配則檢測出人臉，否則檢測錯誤；基于人臉膚色模型的方法，通過建立相應的模型來描述，檢測時首先根據被測圖像像素與膚色模型的相似程度，結合空間相關性將人臉區(qū)域從背景中分割出來；然后對分割出的區(qū)域進行幾何特征分析，確定與人臉特征的相關值，從而排除非人臉的似膚色區(qū)域，達到檢測人臉的目的；基于人臉統(tǒng)計理論的方法，從整個人臉的角度出發(fā)，利用統(tǒng)計的原理，從眾多圖像中提出人臉共有的特征來進行人臉檢測；描述人臉特征方法有子空間、支持向量機、隱馬爾可夫模型、神經網絡和迭代算法Adaboost；

所述人臉表情特征提取核心目標是提取人臉圖像中可分性好的表情信息，同時達到數據降維的目的；

所述人臉表情特征分類核心目標是對得到的表情特征向量進行分類，得到表情所屬的類別，該類別包括人臉運動單元AU組合或基本表情類別，基本表情類別包括表情識別和表情概述；分類表人臉表情特征方法有：線性分類器、神經網絡分類器、支持向量機、隱馬爾可夫模型分類識別方法；

肢體情感，一個完整的手勢識別系統(tǒng)包括三個部分和三個過程，三個部分分別是：采集部分、?分類部分和識別部分；三個過程分別是：分割過程、?跟蹤過程和識別過程；采集部分就是用相機/攝像頭捕捉學生上課反應，在多目的手勢識別中，攝像頭以一定的關系分布在用戶前方；在單目的情況下，攝像頭所在的平面應該和用戶的手部運動所在的平面基本水平；識別部分包括了語法對應單位和相應的跟蹤機制，通過分類得到的手部形狀通過這里一一對應確定的語義和控制命令；分割過程包括了對得到的實時視頻圖像進行逐幀的手部分割，首先得到需要關注的區(qū)域，其次在對得到的區(qū)域進行細致分割，直到得到所需要的手指和手掌的形狀；跟蹤過程包括對手部的不斷定位和跟蹤，并估計下一幀手的位置；識別過程通過對之前的知識確定手勢的意義，?并做出相應的反應；

生理指標情感，是通過傳感器采集人的生理信號最終識別出包含在信號中的情感，生理信號包括有腦電信號、眼動信號、肌電信號、皮膚電信號、心電信號和呼吸信號類,?并且在采集之后進一步對信號進行預處理,?然后分析哪種生理信號模式和特定情感狀態(tài)最密切。