[發(fā)明專利]問答場景中的信息提示方法和系統(tǒng)

在審

• 申請?zhí)枺?/td>: 201910974049.X
• 申請日: 2019-10-14
• 公開（公告）號: CN110909218A
• 公開（公告）日: 2020-03-24
• 發(fā)明（設(shè)計(jì)）人: 饒琪;金戈;黃超;郁冰;金子文;徐亮
• 申請（專利權(quán)）人: 平安科技（深圳）有限公司
• 主分類號: G06F16/9032
• 分類號: G06F16/9032;G06F16/9035;G06K9/00
• 代理公司: 北京市立方律師事務(wù)所 11330
• 代理人: 劉延喜

本申請涉及數(shù)據(jù)處理技術(shù)領(lǐng)域，本申請涉及一種問答場景中的信息提示方法、系統(tǒng)、計(jì)算機(jī)設(shè)備和存儲(chǔ)介質(zhì)，所述方法包括：從視頻數(shù)據(jù)中截取視頻片段；利用微表情識(shí)別模型對視頻片段中對象的人臉進(jìn)行分析，獲取對象在視頻片段中表現(xiàn)的情緒特征信息；若情緒特征信息中包括預(yù)設(shè)特征信息，則讀取與預(yù)設(shè)特征信息對應(yīng)匹配的提示信息；向?qū)ο筇崾驹撎崾拘畔ⅰＩ鲜龇椒ㄔ谇榫w特征信息屬于預(yù)設(shè)特征信息時(shí)，對象的情緒處于需要調(diào)控或應(yīng)答的情緒，可以讀取與調(diào)控或應(yīng)答該情緒相匹配的提示信息，向?qū)ο蟀l(fā)送提示信息，面試過程增添向面試的對象調(diào)控和應(yīng)答情緒的對話內(nèi)容，對話內(nèi)容豐富且可以提升面試對話的靈活度，增強(qiáng)人機(jī)對話的交互中的使用效果。

技術(shù)領(lǐng)域

本申請涉及數(shù)據(jù)處理技術(shù)領(lǐng)域，具體而言，本申請涉及一種問答場景中的信息提示方法、系統(tǒng)、計(jì)算機(jī)設(shè)備和存儲(chǔ)介質(zhì)。

背景技術(shù)

隨著人工智能技術(shù)發(fā)展，人機(jī)對話所交流的內(nèi)容可以是人習(xí)慣的自然交流語言。例如，在一些面試場景中，可以將人機(jī)對話應(yīng)用于面試中，結(jié)合視頻技術(shù)輔助以提高面試的效率。

目前，視頻技術(shù)主要應(yīng)用在面試用戶的人機(jī)對話過程，機(jī)器向用戶提供預(yù)設(shè)的面試問題，用戶根據(jù)面試問題進(jìn)行回答，并由機(jī)器記錄和分析用戶的回答，此時(shí)可以實(shí)現(xiàn)基于基礎(chǔ)交互層面上的面試。

雖然視頻技術(shù)中進(jìn)行人機(jī)對話的面試可以加快面試速度，但是往往機(jī)器往往只針對與用戶之間的對話內(nèi)容進(jìn)行分析和進(jìn)行下一步處理，對話內(nèi)容單調(diào)以及對話效果生硬，影響了面試中人機(jī)對話的使用效果。

發(fā)明內(nèi)容

基于此，有必要針對上述的技術(shù)缺陷，特別是人機(jī)對話表現(xiàn)生硬的技術(shù)缺陷，提供一種問答場景中的信息提示方法、問答場景中的信息提示系統(tǒng)、計(jì)算機(jī)設(shè)備和存儲(chǔ)介質(zhì)。

一種問答場景中的信息提示方法，包括：

從視頻數(shù)據(jù)中截取視頻片段，其中，所述視頻數(shù)據(jù)包括至少一個(gè)對象在視頻面試中回應(yīng)面試問題的圖像數(shù)據(jù)；

利用微表情識(shí)別模型對所述視頻片段中對象的人臉進(jìn)行分析，獲取所述對象在視頻片段中表現(xiàn)的情緒特征信息；

若所述情緒特征信息中包括預(yù)設(shè)特征信息，則讀取與所述預(yù)設(shè)特征信息對應(yīng)匹配的提示信息；

向所述對象提示所述提示信息。

在一個(gè)實(shí)施例中，所述預(yù)設(shè)特征信息包括激動(dòng)狀態(tài)相關(guān)的激動(dòng)特征信息，所述提示信息包括帶有寒暄內(nèi)容的應(yīng)答信息；

所述讀取與所述預(yù)設(shè)特征信息對應(yīng)匹配的提示信息的步驟，包括：

在所述情緒特征信息包括所述激動(dòng)特征信息時(shí)，判定所述對象處于激動(dòng)狀態(tài)；并根據(jù)所述面試問題獲取與所述激動(dòng)特征信息對應(yīng)的應(yīng)答信息。

在一個(gè)實(shí)施例中，所述利用微表情識(shí)別模型對所述視頻片段中對象的人臉進(jìn)行分析，獲取所述對象在視頻片段中表現(xiàn)的情緒特征信息的步驟，包括：

檢測所述視頻片段的各個(gè)圖像中所述對象的人臉特征點(diǎn)；將各所述圖像中人臉特征點(diǎn)依次輸入微表情識(shí)別模型并獲得所述對象的面部動(dòng)作，根據(jù)所述面部動(dòng)作識(shí)別所述對象的表情變化；根據(jù)所述表情變化確定所述情緒特征信息。

在一個(gè)實(shí)施例中，所述根據(jù)所述表情變化確定所述情緒特征信息的步驟，包括：

調(diào)取情緒映射關(guān)系，其中，所述情緒映射關(guān)系用于記錄表情變化與情緒特征信息之間的映射；從所述情緒映射關(guān)系中查找所述表情變化對應(yīng)的所述情緒特征信息。

在一個(gè)實(shí)施例中，在所述根據(jù)所述面試問題獲取與所述激動(dòng)特征信息對應(yīng)的應(yīng)答信息的步驟之前，還包括：

提取所述視頻片段中的音頻數(shù)據(jù)；根據(jù)所述音頻數(shù)據(jù)計(jì)算所述對象回應(yīng)所述面試問題的音調(diào)平均方差；在所述音調(diào)平均方差超出預(yù)定的方差范圍時(shí)，根據(jù)所述音調(diào)平均方差獲取所述對象的激動(dòng)特征信息。