[發明專利]識別面試視頻中關鍵詞的方法、裝置、設備及存儲介質

有效

• 申請號: 201910706481.0
• 申請日: 2019-08-01
• 公開（公告）號: CN110619035B
• 公開（公告）日: 2023-07-25
• 發明（設計）人: 金戈;徐亮
• 申請（專利權）人: 平安科技（深圳）有限公司
• 主分類號: G06F16/33
• 分類號: G06F16/33;G06N3/08;G06Q10/1053;G10L15/26
• 代理公司: 北京市京大律師事務所 11321
• 代理人: 譚爭勇

本申請涉及神經網絡領域，提供識別面試視頻中關鍵詞的方法、裝置、設備及存儲介質，方法包括：使用多個訓練文本對所述多視角自訓練神經網絡模型進行訓練，將采集的語音信號轉換成待識別文本；從待識別文本中提取多個待識別詞語，所述待識別詞語為面試官反饋的是否標注的待識別詞語；生成提示信息，顯示提示信息和待識別詞語，提示信息用于提示面試官對待識別詞語做標注；利用多視角自訓練神經網絡模型計算各待識別詞語為關鍵詞的關鍵詞概率；當關鍵詞概率處于概率閾值的范圍內時，將處于概率閾值的范圍內的待識別詞語均標記為關鍵詞；向至少一個面試服務器發送關鍵詞和通知消息。采用本方案，能夠提高識別文本中關鍵詞的正確率。

技術領域

本申請涉及神經網絡領域，尤其涉及一種識別面試視頻中關鍵詞的方法、裝置、設備及存儲介質。

背景技術

隨著信息技術的快速發展，AI技術已經被運用到各行各業。其中，人力資源領域就是使用較為廣泛的典型領域。不論是圖像模塊，還是語音模塊，都已經成為了AI技術快速發展的事實，尤其在語音模塊，各類語音系統層出不窮，語音識別、語音轉換、語音交互、語音合成等已逐漸走向成熟，這為語音技術的發展帶來了前所未有的機遇。

但是，現有的語音技術僅僅停留在粗略估算語音語義的階段，雖然通過對比語音信號和發音者的視覺唇形的相似度來獲取語音信號中的關鍵詞可以識別出部分關鍵詞，但是仍然不能準確定位到關鍵詞中的細節部分，導致在很多情況下無法獲取到精確信息，從而無法在更多領域推廣和使用，尤其在視頻面試領域。

發明內容

本申請提供了一種識別面試視頻中關鍵詞的方法、裝置、設備及存儲介質，能夠解決現有技術中獲取語音信號中發音者的關鍵詞的準確率不高的問題。

第一方面，本申請提供一種識別面試視頻中關鍵詞的方法，所述方法包括：

將采集的多個訓練文本輸入到多視角自訓練神經網絡模型，以對所述多視角自訓練神經網絡模型進行訓練，所述訓練文本用于對多視角自訓練神經網絡模型訓練；

采集語音信號，調用語音識別系統，將所述語音信號轉換成待識別文本；

從所述待識別文本中提取多個待識別詞語，所述待識別詞語為面試官反饋的是否標注的待識別詞語；

生成提示信息，顯示所述提示信息和待識別詞語，所述提示信息用于提示面試官對待識別詞語做標注；

將所述多個待識別詞語輸入到所述多視角自訓練神經網絡模型，計算各待識別詞語為關鍵詞的關鍵詞概率；

將所述關鍵詞概率與概率閾值比較，當所述關鍵詞概率處于所述概率閾值的范圍內時，將處于所述概率閾值的范圍內的待識別詞語均標記為關鍵詞；

根據預設的面試服務器名單向所述面試服務器名單中的至少一個面試服務器發送所述關鍵詞和所述通知消息，所述通知消息用于提示面試服務器及時上傳最終面試結果。

在一些可能的設計中，所述將采集的多個訓練文本輸入到多視角自訓練神經網絡模型，包括：

按照標注將訓練文本分為第一訓練文本和第二訓練文本，所述第一訓練文本為存在標注的訓練文本，所述第二訓練文本為無標注的訓練文本；

依據編碼規則將第一訓練文本轉換成第一詞向量，將第二訓練文本轉換成第二詞向量；

提取第一詞向量的第一特征，以及提取第二詞向量的第二特征；

將所述第一特征和所述第二特征輸入到多視角自訓練神經網絡模型，分別計算得到所述第一特征對應的第一關鍵詞概率、以及得到所述第二特征對應的第二關鍵詞概率；

將所述第一關鍵詞概率、所述第二關鍵詞概率分別與預設的概率閾值比較；