[發(fā)明專利]情緒狀態(tài)確定方法及裝置

在審

• 申請?zhí)枺?/td>: 201810244692.2
• 申請日: 2018-03-23
• 公開（公告）號: CN108764010A
• 公開（公告）日: 2018-11-06
• 發(fā)明（設(shè)計）人: 姜涵予
• 申請（專利權(quán)）人: 姜涵予
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06F17/30;G16H20/70
• 代理公司: 北京超凡志成知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11371
• 代理人: 郭新娟

1.一種情緒狀態(tài)確定方法，其特征在于，包括：

獲取視頻采集模塊發(fā)送的視頻流；

在所述視頻流中提取圖像特征和語音特征；

根據(jù)所述圖像特征確定用戶所處環(huán)境的場景特征信息和用戶特征信息，以及根據(jù)所述語音特征確定用戶的文字特征信息和聲紋特征信息；

將所述場景特征信息、所述用戶特征信息、所述文字特征信息和所述聲紋特征信息導(dǎo)入到預(yù)設(shè)情緒分析模型中，得到用戶的多個情緒狀態(tài)特征信息；

將所述多個情緒狀態(tài)特征信息進行融合加權(quán)處理，得到用戶的情緒狀態(tài)。

2.根據(jù)權(quán)利要求1所述的情緒狀態(tài)確定方法，其特征在于，所述用戶特征信息包括：人體體征、表情特征、行為特征和軌跡特征，根據(jù)所述圖像特征確定用戶所處環(huán)境的場景特征信息和用戶特征信息，包括：

根據(jù)所述視頻流的圖像幀的時空參數(shù)確定所述場景特征信息，所述場景特征信息包括：時間和地點；

當(dāng)所述視頻流的圖像幀中包含的人臉數(shù)量為一張或者多張時，在所述圖像幀中提取與預(yù)設(shè)用戶臉部特征信息相匹配的人臉圖像；

在所述視頻流的圖像幀中確定包含用戶人體的區(qū)域，得到人體圖像；

在所述人體圖像的人臉區(qū)域提取所述表情特征；

在所述人體圖像的身體區(qū)域提取所述人體體征、行為特征和軌跡特征。

3.根據(jù)權(quán)利要求2所述的情緒狀態(tài)確定方法，其特征在于，根據(jù)所述語音特征確定用戶的文字特征信息和聲紋特征信息，包括：

提取所述視頻流中用戶的語音數(shù)據(jù)；

對所述語音數(shù)據(jù)進行轉(zhuǎn)化處理，得到所述文字特征信息，所述文字特征信息包括：語義和語法；

對所述語音數(shù)據(jù)進行聲紋處理，得到所述聲紋特征信息，所述聲紋特征信息包括：語速、基音、音調(diào)和停頓。

4.根據(jù)權(quán)利要求3所述的情緒狀態(tài)確定方法，其特征在于，所述場景特征信息還包括：個人屬性，所述方法還包括：

接收用戶輸入的個人屬性，所述個人屬性包括：性別、年齡、地域和職業(yè)。

5.根據(jù)權(quán)利要求4所述的情緒狀態(tài)確定方法，其特征在于，將所述場景特征信息、所述用戶特征信息、所述文字特征信息和所述聲紋特征信息導(dǎo)入到預(yù)設(shè)情緒分析模型中，得到用戶的多個情緒狀態(tài)特征信息，包括：

針對所述場景特征信息中的每個場景特征，根據(jù)場景特征與情緒狀態(tài)特征信息的對應(yīng)關(guān)系確定與自身對應(yīng)的第一情緒狀態(tài)特征信息；

針對所述用戶特征信息中的每個用戶特征，根據(jù)用戶特征與情緒狀態(tài)特征信息的對應(yīng)關(guān)系確定與自身對應(yīng)的第二情緒狀態(tài)特征信息；

針對所述文字特征信息中的每個文字特征，根據(jù)文字特征與情緒狀態(tài)特征信息的對應(yīng)關(guān)系確定與自身對應(yīng)的第三情緒狀態(tài)特征信息；

針對所述聲紋特征信息中的每個聲紋特征，根據(jù)聲紋特征與情緒狀態(tài)特征信息的對應(yīng)關(guān)系確定與自身對應(yīng)的第四情緒狀態(tài)特征信息。

6.根據(jù)權(quán)利要求5所述的情緒狀態(tài)確定方法，其特征在于，將所述多個情緒狀態(tài)特征信息進行融合加權(quán)處理，得到用戶的情緒狀態(tài)，包括：

采用加權(quán)融合算法，對第一情緒狀態(tài)特征信息、第二情緒狀態(tài)特征信息、第三情緒狀態(tài)特征信息和第四情緒狀態(tài)特征信息進行融合處理，得到精確的用戶的情緒狀態(tài)。

7.根據(jù)權(quán)利要求6所述的情緒狀態(tài)確定方法，其特征在于，所述方法還包括：

根據(jù)用戶的情緒狀態(tài)確定適用于用戶的應(yīng)對方案；

所述根據(jù)用戶的情緒狀態(tài)確定適用于用戶的應(yīng)對方案，包括：

根據(jù)用戶的情緒狀態(tài)，以及所述預(yù)設(shè)情緒分析模型中的每個情緒狀態(tài)與預(yù)設(shè)應(yīng)對方案的對應(yīng)關(guān)系確定適用于用戶的應(yīng)對方案。