[發明專利]一種基于體態識別的老年人情緒實時預測方法與系統

在審

• 申請號: 202210227218.5
• 申請日: 2022-03-08
• 公開（公告）號: CN114743129A
• 公開（公告）日: 2022-07-12
• 發明（設計）人: 林格;周凡
• 申請（專利權）人: 中山大學
• 主分類號: G06V20/40
• 分類號: G06V20/40;G06V40/20;G06V10/764;G06V10/82;G06T7/62;G06T7/73;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.一種基于體態識別的老年人情緒實時預測方法，其特征在于，所述方法包括：

對Ewalk數據集進行處理，包括對數據集中數據進行篩選、以及為了便于訓練將其處理成相同的尺寸，形成包括視頻數據以及與視頻數據對應的人體姿勢與情緒標簽的視頻數據集；

利用所述視頻數據集中的視頻數據以及對應的人體姿勢訓練TP-Net網絡，形成用于提取視頻幀中人體姿勢的人體姿勢神經網絡；

利用所述視頻數據集中的人體姿勢訓練LSTM網絡，形成用于提取人體姿勢高維特征的高維特征神經網絡，之后利用所述視頻數據集中的人體姿勢輸入到訓練完成的該網絡中，得到所述視頻數據集中每段視頻的高維特征；

利用所述視頻數據集中的人體姿勢計算每段視頻中每一幀的姿勢特征和運動特征，之后把姿勢特征和運動特征拼接得到的向量作為每一幀對應的情感特征，對任一段視頻中所有幀對應的情感特征取平均值作為該段視頻的情感特征，從而形成所述視頻數據集中每段視頻的情感特征；

把所述每段視頻的高維特征與所述每段視頻的情感特征進行拼接，得到每段視頻的組合特征，與所述視頻數據集中視頻數據對應的情緒標簽一同組成訓練集對分類器進行訓練，形成情緒分類器；

輸入待處理視頻，利用所述人體姿勢神經網絡提取出待處理視頻的人體姿勢，把該人體姿勢輸入到所述高維特征神經網絡提取出待處理視頻的高維特征，之后計算待處理視頻的情感特征，并把待處理視頻的高維特征與情感特征進行結合得到待處理視頻的組合特征，最后把待處理視頻的組合特征輸入到所述情緒分類器來預測待處理視頻中人物的情緒。

2.如權利要求1所述的一種基于體態識別的老年人情緒實時預測方法，其特征在于，所述與視頻數據對應的人體姿勢由16個三維坐標表示，每一個坐標代表人體中一個重要部位在三維空間中的位置，即一個姿勢是一個48維的向量；16個重要部分分別是頭部、脖子、左肩、右肩、左手關節、右手關節、左手、右手、上半身中間、上半身底部中心、左腿與上半身連接處、右腿與上半身連接處、左腿關節、右腿關節、左腳、右腳。

3.如權利要求1所述的一種基于體態識別的老年人情緒實時預測方法，其特征在于，所述與視頻數據對應的情緒標簽共有4種，分別為高興、傷心、憤怒和平靜。

4.如權利要求1所述的一種基于體態識別的老年人情緒實時預測方法，其特征在于，所述高維特征神經網絡，具體為：

高維特征神經網絡采用編碼解碼結構進行訓練，用一個LSTM網絡作為編碼器，然后用另一個LSTM網絡作為解碼器；

編碼器的輸入是從視頻片段中提取的人體姿勢，即48維的向量，輸出是該人體姿勢的高維特征；解碼器的輸入是編碼器輸出的高維特征，解碼器的輸出是一個48維向量，即人體姿勢；

編碼器和解碼器的優化是通過計算解碼器輸出的48維向量與輸入給編碼器的48維向量之間L2范數損失，然后進行反饋傳播來優化編碼器與解碼器；設編碼器的輸入是向量P，其中第i個分量用p_i表示，而解碼器的輸出是向量Q，其第i個分量用q_i表示，它們之間L2范數計算公式如下所示：

5.如權利要求1所述的一種基于體態識別的老年人情緒實時預測方法，其特征在于，所述利用所述視頻數據集中的人體姿勢計算每段視頻中每一幀的姿勢特征，具體為：

姿勢特征共有12個，分為體積、角度、距離和面積這4類；其中體積是指人體姿勢在三維空間中外包圍盒的體積，角度包括在脖子處雙肩形成的角度、在右肩處脖子和左肩形成的角度、在左肩處脖子和右肩形成的角度以及在脖子處頭和上半身中心形成的角度這4個，距離包括上半身底部中心和右手、左手、右腳、左腳之間的距離以及雙腳之間的距離，面積包括雙手和脖子形成的三角形的面積以及上半身底部中心和雙腳形成的三角的面積；

所述體積、角度、距離和面積的計算，都是三維坐標之間的運算。