[發明專利]一種多模態分析的視頻面試評估方法、裝置和存儲介質

在審

• 申請號: 202110199099.2
• 申請日: 2021-02-23
• 公開（公告）號: CN112884326A
• 公開（公告）日: 2021-06-01
• 發明（設計）人: 巨琰
• 申請（專利權）人: 無錫愛視智能科技有限責任公司
• 主分類號: G06Q10/06
• 分類號: G06Q10/06;G06Q10/10;G06K9/00;G06T7/11;G06N3/04;G06N3/08
• 代理公司: 無錫市興為專利代理事務所(特殊普通合伙) 32517
• 代理人: 屠志力

本發明提供一種多模態分析的視頻面試評估方法，包括以下步驟：接收應聘具體崗位的面試者在面試時的短視頻；提取短視頻中的音頻數據和視頻數據；通過提取音頻數據的梅爾頻率倒譜系數做為基于語音分析的表達能力評估模型的輸入，得到基于語音分析的表達能力評估得分；通過對視頻數據進行分析，作為個人基礎屬性的職業匹配模型、形象職業度評估模型、動作分析的人格評估模型的輸入，分別得到基于個人基礎屬性的職業匹配度得分，形象職業度得分和基于動作分析的人格評估得分；通過、和，求和得到綜合的崗位匹配度得分。本發明可實現海量視頻簡歷中進行快速篩選，提高招聘效率。

技術領域

本發明涉及視頻面試技術領域，尤其是一種多模態分析的視頻面試評估方法。

背景技術

面試作為企業人才招聘過程中必經的一個環節，通過組織者的精心設計，包含一輪面試甚至多輪面試，在不同的階段設定不同的場景，通過面對面的交談與觀察為主要手段，對面試者做由表及里的知識、能力、經驗等有關素質的評測。對于求職者而言，傳統的當面面試方法缺乏靈活性，尤其是對異地求職者的求職難度則更甚。對于企業而言，不同的面試階段需要安排特定的面試官，在經濟成本和時間成本上都存在著較大的弊端。

隨著互聯網技術和5G等技術的飛速發展，視頻面試逐漸成為當下的一種應聘趨勢。同時，將人工智能技術對視頻面試者進行初步分析(包括基本屬性、衣著職業度、動作分析和語音分析等)，用以判斷對當前求職崗位的職業符合程度的量化結果，作為一種人力資源的評估維度。并實現從海量的面試者中快速找到適合崗位的人才，提高人力資源的效率。

發明內容

本發明的目的在于解決當前在招聘時效率低、缺乏靈活性、對招聘者和面試者互動形式依賴度高等問題，提供一種多模態分析的視頻面試評估方法和裝置，可實現海量視頻簡歷中進行快速篩選，作為一種面試初審的參考，有效提高人力資源在人才招聘時的效率。

作為本發明的第一方面，本發明實施例提出一種多模態分析的視頻面試評估方法，包括以下步驟：

接收應聘具體崗位的面試者在面試時的短視頻；

提取短視頻中的音頻數據和視頻數據；

通過提取音頻數據的梅爾頻率倒譜系數做為基于語音分析的表達能力評估模型的輸入，得到基于語音分析的表達能力評估得分S₁；

通過對視頻數據進行分析，作為個人基礎屬性的職業匹配模型、形象職業度評估模型、動作分析的人格評估模型的輸入，分別得到基于個人基礎屬性的職業匹配度得分S₂，形象職業度得分S₃和基于動作分析的人格評估得分S₄；

通過基于語音分析的表達能力評估得分S₁、基于個人基礎屬性的職業匹配度得分S₂、形象職業度得分S₃和基于動作分析的人格評估得分S₄，求和得到綜合的崗位匹配度得分S。

進一步地，所述基于語音分析的表達能力評估模型，通過以下步驟訓練得到：

先對音頻數據進行均值平滑濾波的預處理；

依據設定的采樣頻率fs，計算窗口win，計算步長step，提取音頻數據的梅爾頻率倒譜系數特征；

通過人工評定的標簽和對應的梅爾頻率倒譜系數特征訓練基于語音分析的LSSVM表達能力評估模型。

進一步地，個人基礎屬性的職業匹配模型建立在性別和年齡的基礎上；所述基于個人基礎屬性的職業匹配度得分S₂，通過以下步驟獲得：