[發(fā)明專利]一種基于體態(tài)識別的老年人情緒實時預(yù)測方法與系統(tǒng)

在審

• 申請?zhí)枺?/td>: 202210227218.5
• 申請日: 2022-03-08
• 公開（公告）號: CN114743129A
• 公開（公告）日: 2022-07-12
• 發(fā)明（設(shè)計）人: 林格;周凡
• 申請（專利權(quán)）人: 中山大學(xué)
• 主分類號: G06V20/40
• 分類號: G06V20/40;G06V40/20;G06V10/764;G06V10/82;G06T7/62;G06T7/73;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 暫無信息
• 代理人: 暫無信息

本發(fā)明公開了一種基于體態(tài)識別的老年人情緒實時預(yù)測方法與系統(tǒng)。首先利用人體姿勢神經(jīng)網(wǎng)絡(luò)提取出視頻的人體姿勢，把該人體姿勢輸入到高維特征神經(jīng)網(wǎng)絡(luò)提取出視頻的高維特征，之后計算視頻的情感特征，并把視頻的高維特征與情感特征進行結(jié)合得到視頻的組合特征，最后把視頻的組合特征輸入到情緒分類器來預(yù)測視頻中人物的情緒。本發(fā)明通過提取視頻數(shù)據(jù)中人物的人體姿勢來進行人物情緒的識別，不要求能夠清晰的捕捉到人物的面部表情，因此本發(fā)明對視頻采集設(shè)備的要求更低，具有更好的普適性；此外本發(fā)明在進行人物情緒識別時還考慮了視頻數(shù)據(jù)中的時序性，將人物的運動特征運用到人物的情緒識別過程中，提高了通過體態(tài)進行人物情緒識別的準(zhǔn)確率。

技術(shù)領(lǐng)域

本發(fā)明涉及計算機視覺技術(shù)領(lǐng)域，具體涉及一種基于體態(tài)識別的老年人情緒實時預(yù)測方法與系統(tǒng)。

背景技術(shù)

隨著互聯(lián)網(wǎng)和多媒體技術(shù)不斷發(fā)展、數(shù)字設(shè)備和大容量存儲設(shè)備的普及，每天都會產(chǎn)生大量的圖像和視頻數(shù)據(jù)。隨著圖像和視頻信息的獲取變得簡單，如何利用多媒體數(shù)據(jù)信息成為一個值得探討的問題。根據(jù)視頻數(shù)據(jù)推測出視頻中人物的情緒也是多媒體信息的一種應(yīng)用。

在我們的日常生活中，情緒扮演著重要的角色。我們對他人情緒的感知有助于我們了解他們的行為，也有助于我們決定如何與他們互動。由于情感起著如此重要的作用，許多應(yīng)用如治療和康復(fù)、治療、游戲和娛樂、安全和執(zhí)法、購物、人機交互、人機交互等都將受益于情感識別。并且隨著我國老年人口數(shù)量不斷增加，養(yǎng)老工作也受到廣泛的關(guān)注，如果能夠?qū)崟r了解老年人的情緒狀況，就能夠很好的制定相應(yīng)的管理措施。然而通過人工來實時關(guān)注老年人的心理狀況是不現(xiàn)實，情緒識別能夠很好的解決這一問題。

近年來，隨著深度學(xué)習(xí)技術(shù)的發(fā)展，產(chǎn)生了情緒識別技術(shù)。這些技術(shù)主要通過將含有人物的圖像輸入到訓(xùn)練好的神經(jīng)網(wǎng)絡(luò)模型中，然后得到一個情緒類別的輸出。然而由于考慮的人物特征單一或不足，容易出現(xiàn)情緒預(yù)測不正確的問題。

目前的現(xiàn)有技術(shù)之一為專利“視頻中人物的情緒識別方法及裝置、計算機設(shè)備及介質(zhì)”。該技術(shù)包括：1、獲取待識別視頻中的包含人臉的圖像、以預(yù)定時間間隔由待識別視頻抽取的N幀圖像、將待識別視頻劃分為M段后從每段中隨機采樣至少一幀圖像獲得的至少兩幀圖像以及分別與上述圖像對應(yīng)的聲音頻譜圖；2、從包含人臉的圖像提取人臉情緒特征向量、從N幀圖像提取幀情緒特征向量、從至少兩幀圖像提取視頻情緒特征向量并從聲音頻譜圖提取聲音情緒特征向量；3、對上述四種特征向量進行特征融合，得到多模信息特征向量；4、調(diào)用預(yù)先訓(xùn)練得到的人物情緒識別模型對多模信息特征向量進行識別，得到識別結(jié)果。該技術(shù)的缺點是，要求視頻中要擁有完整的人臉圖像，并且需要正確的音頻信息，這在具體的實際應(yīng)用中是較難保證的。

目前的現(xiàn)有技術(shù)之二為專利“基于多特征點的微表情擬合方法和系統(tǒng)”。該技術(shù)包括：1、獲取基準(zhǔn)圖像和情緒圖像，其中，基準(zhǔn)圖像指沒有刺激源情況下的圖像，情緒圖像指存在預(yù)定刺激源情況下的圖像；2、將基準(zhǔn)圖像和情緒圖像分別輸入到面部檢測神經(jīng)網(wǎng)絡(luò)中進行面部檢測以分別獲得基準(zhǔn)面部圖像和情緒面部圖像；3、將基準(zhǔn)面部圖像和情緒面部圖像分別輸入到面部特征點標(biāo)記網(wǎng)絡(luò)中進行面部特征點提取以分別獲得基準(zhǔn)特征點和情緒特征點；4、根據(jù)基準(zhǔn)特征點的位置信息和情緒特征點的位置信息計算出面部微特征向量，并將滿足預(yù)定閾值的面部微特征向量作為面部運動單元進行輸出；5、以及采用遞歸神經(jīng)網(wǎng)絡(luò)模型對所述面部運動單元進行擬合，得到預(yù)測的情緒特征。該技術(shù)的缺點是，在情緒識別時要求要有對應(yīng)人物情緒平靜時的面部圖像，并且用于識別的圖像也要求有完整的面部，這在實際的應(yīng)用中是比較難以滿足的。

目前的現(xiàn)有技術(shù)之三為專利“語音情緒識別方法、裝置、計算機設(shè)備和存儲介質(zhì)”。該技術(shù)包括：1、獲取待識別的客戶語音數(shù)據(jù)；2、通過對客戶語音數(shù)據(jù)進行特征提取，得到語音特征集；3、對語音特征集中的語音特征進行組合拼接，得到客戶語音數(shù)據(jù)對應(yīng)的語音特征向量；4、通過訓(xùn)練好的語音情緒識別模型對語音特征向量進行識別，得到客戶語音數(shù)據(jù)對應(yīng)的語音情感類別。該技術(shù)的缺點是，需要語音信息才能識別人物情緒，然而在視頻數(shù)據(jù)中會有許多不含人物語音信息的片段，因此其無法很好的應(yīng)用與視頻和圖像數(shù)據(jù)中。

發(fā)明內(nèi)容