[發明專利]一種多模態分析的視頻面試評估方法、裝置和存儲介質

在審

• 申請號: 202110199099.2
• 申請日: 2021-02-23
• 公開（公告）號: CN112884326A
• 公開（公告）日: 2021-06-01
• 發明（設計）人: 巨琰
• 申請（專利權）人: 無錫愛視智能科技有限責任公司
• 主分類號: G06Q10/06
• 分類號: G06Q10/06;G06Q10/10;G06K9/00;G06T7/11;G06N3/04;G06N3/08
• 代理公司: 無錫市興為專利代理事務所(特殊普通合伙) 32517
• 代理人: 屠志力

1.一種多模態分析的視頻面試評估方法，其特征在于，包括以下步驟：

接收應聘具體崗位的面試者在面試時的短視頻；

提取短視頻中的音頻數據和視頻數據；

通過提取音頻數據的梅爾頻率倒譜系數做為基于語音分析的表達能力評估模型的輸入，得到基于語音分析的表達能力評估得分S₁；

通過對視頻數據進行分析，作為個人基礎屬性的職業匹配模型、形象職業度評估模型、動作分析的人格評估模型的輸入，分別得到基于個人基礎屬性的職業匹配度得分S₂，形象職業度得分S₃和基于動作分析的人格評估得分S₄；

通過基于語音分析的表達能力評估得分S₁、基于個人基礎屬性的職業匹配度得分S₂、形象職業度得分S₃和基于動作分析的人格評估得分S₄，求和得到綜合的崗位匹配度得分S。

2.如權利要求1所述的多模態分析的視頻面試評估方法，其特征在于，

所述基于語音分析的表達能力評估模型，通過以下步驟訓練得到：

先對音頻數據進行均值平滑濾波的預處理；

依據設定的采樣頻率fs，計算窗口win，計算步長step，提取音頻數據的梅爾頻率倒譜系數特征；

通過人工評定的標簽和對應的梅爾頻率倒譜系數特征訓練基于語音分析的LSSVM表達能力評估模型。

3.如權利要求1所述的多模態分析的視頻面試評估方法，其特征在于，

個人基礎屬性的職業匹配模型建立在性別和年齡的基礎上；所述基于個人基礎屬性的職業匹配度得分S₂，通過以下步驟獲得：

通過多任務卷積神經網絡對視頻流關鍵幀進行人臉檢測，得到人臉框和人臉關鍵點，基于人臉關鍵點做人臉對齊并標準化裁剪；將標準化的人臉圖片輸入基于SSR-Net的性別和年齡預測模型，得到多個關鍵幀的平均預測年齡和預測性別分別代入到對應的個人基礎屬性的職業匹配模型中得到職業匹配度得分得分和分別為年齡和性別的分值權重。

4.如權利要求1所述的多模態分析的視頻面試評估方法，其特征在于，

形象職業度評估模型建立在穿著和頭部儀容的基礎上；所述形象職業度得分S₃，通過以下步驟獲得：

b1)首先訓練基于CenterMask的穿著和頭部實例分割模型；

b2)通過基于CenterMask的穿著和頭部實例分割模型對視頻流關鍵幀進行頭部和衣著區域分割；并對背景圖像做像素值[255，255，255]填充；

b3)以各自最大邊界框對頭部和衣著圖像分別進行裁剪并歸一化；

b4)依據人工評定的標簽值將歸一化后的頭部和衣著圖像分別訓練基于SSR-Net的形象職業度評估模型；

b5)將歸一化后的頭部和衣著圖像分別輸入基于各自屬性訓練的SSR-Net形象職業度評估模型，得到多關鍵幀的平均頭部形象職業度得分和衣著形象職業度得分依據兩者的權重分值綜合得到形象職業度分值和分別為頭部和衣著的分值權重。

5.如權利要求1所述的多模態分析的視頻面試評估方法，其特征在于，

動作分析的人格評估模型建立在微表情變化和姿態變化的基礎上；所述基于動作分析的人格評估得分S₄，通過以下步驟獲得：

微表情變化以預設單位時間內出現點頭、搖頭、閉眼、嘴巴開合變化的次數作為動作依據；通過3DDFA_V2算法識別每間隔預設時長內，短視頻中面試者的多個人臉關鍵點；依據眼睛、嘴巴對應的人臉關鍵點中最大外部輪廓的長寬比變化作為指標，相鄰兩幀圖像中所述長寬比的變化大于設定閾值則認為出現閉眼、嘴巴開合動作；依據人臉關鍵點計算頭部的姿態估計，相鄰兩幀圖像中頭部的角度變化大于設定閾值則認為出現點頭、搖頭動作；

姿態變化以預設單位時間內出現手觸碰嘴巴、鼻子、耳朵、頭的次數作為動作依據；當手部坐標與人臉關鍵點中對應嘴巴、鼻子、耳朵或頭部位的坐標的歐式距離滿足小于設定閾值時，則認為出現相應動作；

依據心理學釋義分配對應崗位在微表情變化和姿態變化上的權重分值，得到基于動作分析的人格評估分值S₄。