[發明專利]一種用于智能面試的表達能力維度評價方法及裝置

在審

• 申請號: 202011595060.4
• 申請日: 2020-12-29
• 公開（公告）號: CN112818742A
• 公開（公告）日: 2021-05-18
• 發明（設計）人: 田鑫
• 申請（專利權）人: 南京智能情資創新科技研究院有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62;G06N3/04;G06N3/08;G06Q10/06
• 代理公司: 南京天翼專利代理有限責任公司 32112
• 代理人: 奚銘

1.一種用于智能面試的表達能力維度評價方法，其特征是采集面試者面試視頻，抽取視頻幀圖像序列和視頻的音頻數據，使用分布式函數計算服務搭建基于深度神經網絡的多階段特征提取模型，獲得多模態、層次式特征表示，用于產生面試者表達能力維度的綜合評價；首先將抽取到的視頻幀輸入基于CNN的手部檢測模型進行特征提取，得到底層手部姿態特征，將音頻數據輸入基于自然語言處理的音頻處理模塊，獲取底層回答文本特征，底層手部姿態特征和底層回答文本特征構成多模態特征；將兩種底層特征分別輸入兩個LSTM編碼為時序特征，得到視頻時序特征和文本時序特征；再通過一組基于先驗知識的規則從多模態特征中抽取抽象的高層語義特征，包括手勢表達、流暢性、感染力、條理性、簡潔性特征，視頻時序特征、文本時序特征及高層語義特征構成層次式特征；最后，將層次式特征標準化后輸入全連接神經網絡，進行特征融合，得到表達能力等級分類器，用于預測表達能力等級。

2.根據權利要求1所述的一種用于智能面試的表達能力維度評價方法，其特征是對面試視頻每10幀抽取一幀得到視頻幀圖像序列，通過圖像識別的手部檢測技術獲得面試者手部位置框和手腕位置信息，得到手部姿態特征。

3.根據權利要求1或2所述的一種用于智能面試的表達能力維度評價方法，其特征是所述對音頻進行識別處理生成語音底層特征具體為：

1)通過Vosk Api對音頻進行語音識別，獲得面試者的回答信息，包括語音文本及其分詞列表、分詞開始和結束時間、以及文本積極性，其中文本積極性用范圍在[0,1]的浮點數表示分詞的積極度數值；

2)解析語音文本的信息字段，計算得到回答文本特征，包括：

a.問候語：分析分詞列表中的詞匯，查看是否出現問候語；

b.感謝語：分析分詞列表中的詞匯，查看是否出現感謝語；

c.思考時間：獲取第一個字的開始時間作為特征的結果；

d.回答時間：獲取每一個分詞的開始時間和結束時間，并求差作為該語句的時長，統計所有語句的時長作為特征的結果；

e.語速：獲得回答文本長度特征，根據文本相對應的開始和結束時間，計算回答總時長，對長度和時長求比值作為特征；

f.回答文本長度：獲取分詞列表每個詞的字數之和作為回答文本長度；

g.文本積極性：對每一個分詞的積極性取平均數作為整個視頻的篇章級文本積極性結果；

h.停頓時長：根據每一個詞匯的開始和結束時間，獲取上下詞匯之間的停頓時間列表，設定閾值Pause_threshold＝0.8秒，對停頓時間超過0.8秒的停頓時間進行求和，求和結果作為特征的結果；

i.短停次數：對相鄰兩個詞匯之間的停頓時間列表設定兩個閾值，短時停頓Short_pause＝0.8秒，長時停頓Long_pause＝1.5秒，對停頓時間在兩個閾值間的停頓判定為短停，對短停次數求和作為短停次數特征；

j.長停次數：在短停次數的數據基礎上，將超過1.5秒的停頓判定為長停，對長停的次數求和記為長停次數特征；

k.語氣詞數：分析分詞列表，對語氣詞建立一張表，統計表中所有語氣詞出現的總次數，作為語氣詞數特征的結果；

l.關聯詞數：分析分詞列表，對體現邏輯性的關聯詞建立一張表，統計表中所有關聯詞出現的總次數，作為關聯詞數特征的結果；

m.停頓詞數：分析分詞列表，對用于表示思考或停頓的停頓詞建立一張表，統計表中所有停頓詞出現的總次數，作為停頓詞數特征的結果；

n.詞匯數：分析分詞列表，計算詞匯的總數量作為特征返回結果。