[發(fā)明專利]一種情緒追蹤方法、系統(tǒng)、裝置及存儲介質(zhì)

在審

• 申請?zhí)枺?/td>: 202310304196.2
• 申請日: 2023-03-24
• 公開（公告）號: CN116310992A
• 公開（公告）日: 2023-06-23
• 發(fā)明（設(shè)計）人: 梅曉勇;張可金;王鑫鑫;楊毅;黃昌勤
• 申請（專利權(quán)）人: 浙江師范大學
• 主分類號: G06V20/40
• 分類號: G06V20/40;G06T3/40;G06V10/40;G06V10/764;G06V10/80;G06V10/82;G06V40/16;G06N3/08;G06N3/0464;G06N3/0475;G06N3/094;G06N3/048
• 代理公司: 廣州嘉權(quán)專利商標事務所有限公司 44205
• 代理人: 余凱歡

本發(fā)明公開了一種情緒追蹤方法、系統(tǒng)、裝置及存儲介質(zhì)，本發(fā)明實施例首先從待追蹤視頻中獲取視頻幀圖像，便于后續(xù)的圖像處理以及基于視頻中對應幀的圖像的情緒識別實現(xiàn)視頻的情緒追蹤；進而通過圖像超分辨率模型對視頻幀圖像的超分辨率處理，提高圖像分辨率，輔助提高識別準確率；最終通過情緒識別模型，基于淺層特征提取模塊、深層特征學習模塊和分類模塊，得到真實準確且貼合實際應用場景的情緒識別結(jié)果，進而實現(xiàn)情緒數(shù)據(jù)的可視化和追蹤調(diào)整。本發(fā)明實施例能夠有效提高識別準確率并實現(xiàn)高效情緒識別，可廣泛應用于圖像處理技術(shù)領(lǐng)域。

技術(shù)領(lǐng)域

本發(fā)明涉及圖像處理技術(shù)領(lǐng)域，尤其是一種情緒追蹤方法、系統(tǒng)、裝置及存儲介質(zhì)。

背景技術(shù)

隨著教育信息化步伐的不斷加快，人工智能技術(shù)與教育的融合應用逐漸成為教育教學過程中不可或缺的一部分，各種課堂融合應用把“以學習者為中心”作為理念，在技術(shù)創(chuàng)新的同時將重點放在學習者身上，探究學習過程的發(fā)生以及如何促進學習者的積極性。學業(yè)情緒對學習者學習認知的激發(fā)與促進具有一定影響，逐漸受到研究者的重視，并隨著人工智能的發(fā)展逐漸產(chǎn)出相關(guān)教育產(chǎn)品。這些產(chǎn)品一方面為教學者或管理者提供了更詳細的學習者學業(yè)情緒信息，另一方面，由于技術(shù)的限制，所分析出的學習者學業(yè)情緒結(jié)果難以得到教學者的廣泛認同，在課堂教學中學業(yè)情緒分析和學習者學業(yè)情緒挖掘存在不足。

目前學業(yè)情緒的測量手段主要是通過在課堂內(nèi)外對學習者的情緒狀態(tài)進行收集，利用基本情緒理論對情緒進行評估判斷。現(xiàn)有的測量手段有兩大類，一類是使用人工測量的方法，利用學業(yè)情緒問卷采集學習者學習過程中的情緒狀態(tài)，如Pekrun等人編制的AEQ問卷，以及國內(nèi)廣泛運用的董妍、俞國良學者改良編制的《青少年學業(yè)情緒問卷》，但這類方法通常需要耗費大量的時間以及精力，且調(diào)查對象范圍受限，對小學及以下的學習者學業(yè)情緒測量則相對困難。第二類則是基于技術(shù)的測量方法，如基于外周生理測量的傳感器感知技術(shù)手段，或者是基于面部、聲音等身體信息觀察系統(tǒng)(如FACS及其變體)的智能技術(shù)手段，相對于人工測量的方法，這些方法能更動態(tài)詳盡且準確地收集學習者情緒狀態(tài)。其中，傳感器感知技術(shù)手段利用傳感設(shè)備(便攜式頭戴設(shè)備、腕帶式設(shè)備等)探測并記錄各種相關(guān)生理參數(shù)(測量心率、皮膚電等)，提取出參數(shù)中隱含的特征變化，并以此分析學習者的情緒狀態(tài)，這種技術(shù)方法具備很好的魯棒性和客觀性，但一部分生理參數(shù)的穩(wěn)定性差，容易受到不同環(huán)境下的噪音干擾，且傳感設(shè)備的價格不菲，無法大范圍使用。智能教育技術(shù)則采用表情識別、語音識別、行為識別等深度學習模型對學習者的學業(yè)情緒變化進行分析判斷，如語音識別模型收集語音信號，對聲音的韻律、聲調(diào)和一些非語言發(fā)音進行分析識別，但大部分語音識別模型都是針對非流式語音識別，較少考慮模型實時識別問題。另外在課堂教學場景中，由于外界因素(人臉清晰度低、光線變化等)的干擾，表情識別模型會出現(xiàn)生態(tài)效度低的問題，識別準確率有待提高。因此，如何構(gòu)建一種結(jié)果穩(wěn)定且貼合課堂教學場景的學習者學業(yè)情緒追蹤方法，為學習者、教學者和管理者提供更真實且準確的分析數(shù)據(jù)，促進實際教學中學習者學業(yè)情緒分析與干預的實踐研究是一個亟需解決的問題。

發(fā)明內(nèi)容

有鑒于此，本發(fā)明實施例提供一種情緒追蹤方法、系統(tǒng)、裝置及存儲介質(zhì)，能夠有效提高識別準確率并實現(xiàn)高效情緒識別。

一方面，本發(fā)明的實施例提供了一種情緒追蹤方法，包括：

獲取待追蹤視頻的視頻幀圖像；

利用圖像超分辨率模型，對視頻幀圖像進行超分辨率處理，獲得目標圖像；其中，圖像超分辨率模型包括編碼器、解碼器和修復網(wǎng)絡；

利用情緒識別模型，對目標圖像進行分析，獲得情緒識別結(jié)果；其中，情緒識別模型包括淺層特征提取模塊、深層特征學習模塊和分類模塊；

基于情緒識別結(jié)果，確定可視化數(shù)據(jù)和情緒追蹤調(diào)整數(shù)據(jù)。

可選地，獲取待追蹤視頻的視頻幀圖像，包括：

獲取待追蹤視頻；

對待追蹤視頻進行多線程抽取，得到視頻幀圖像。