[發明專利]基于音頻媒體分析的語音識別技術

在審

• 申請號: 202010922652.6
• 申請日: 2020-09-04
• 公開（公告）號: CN114141244A
• 公開（公告）日: 2022-03-04
• 發明（設計）人: 余城誠;彭德中;王騫;劉杰;張利君;銀大偉;蔣瑞;付俊英
• 申請（專利權）人: 四川大學
• 主分類號: G10L15/22
• 分類號: G10L15/22;G10L15/02;G10L25/21;G10L25/24
• 代理公司: 暫無信息
• 代理人: 暫無信息

本發明公開了一種基于音頻媒體分析的語音識別技術，該技術針對目前的音視頻信息流，通過音頻特征提取、啟發式規則和語音識別系統來進行分類和識別。音頻特征通過13階MFCC來提取，分類規則通過SVM規則來實現分類。最后通過特定的語音識別引擎進行識別和輸出。

技術領域

本發明涉及計算機語音識別領域，特別涉及一種用于識別音視頻中的語音的方法。

背景技術

如今，隨著計算機網絡和多媒體技術的飛速發展，多媒體信息越來越多。作為主要的多媒體，視頻在我們的日常生活中起著重要的作用。基于內容的視頻檢索吸引了越來越多研究人員的關注。早期的研究大多集中在視覺信息上，但是這些較低的特征很難表達高級語義概念。因此，基于多模式的視頻內容分析是一個充滿挑戰的研究領域。作為視頻的重要組成部分，音頻可以為視頻內容分析提供有用的信息。音頻還可以為新聞視頻和體育視頻等特定領域提供重要線索。

本發明介紹了我們的音頻內容分析框架，通過自動音頻分類和語音識別來對視頻內容進行分析。并且進行語音到文本的轉化。

發明內容

本發明所要解決的問題在于如何將音頻分析和語音識別應用于視頻內容分析。

為了達到視頻內容分析的目標，本發明采用的技術方案是：

首先，我們從視頻流中提取音頻數據。其次，將音頻數據劃分為同質段。在這一部分中，提取了基于音頻幀的音頻特征，包括梅爾頻率倒譜系數(MFCC)，短時能量，過零率和子帶能量比。然后使用基于規則和SVM的分類器將幀分類為靜音，音樂和語音。然后在最終的音頻分割中應用四個啟發式規則。最后，根據音頻分段信息，提取語音分段和將用于語音識別的MFCC特征。

步驟如下：

1.音頻特征提取

我們提取的幀級特征包括：13階MFCC，13階一階差分MFCC，過零率，短時能量和子帶能量比。這些功能的定義如下：

1)梅爾頻率倒譜系數(MFCC)

其中K是帶通濾波器的數量，s_k是通過第k個三角形帶通濾波器后的梅爾加權頻譜，L是倒頻譜的階數。

2)過零率(ZCR)

如果連續采樣的時域符號不同，則會發生零交叉。ZCR定義為幀內的零交叉數。

其中sgn(.)是符號函數，而x_i(m)是第i幀離散音頻信號。

3)短時能量(STE)

STE是音頻幀中樣本的總能量。它定義為：

其中x_i(m)是第i幀離散音頻信號。它可用于區分靜音和非靜音。

4)子帶能量比

頻率能量(FE)是一幀中的頻譜功率。定義是：

其中F(ω)為FFT系數，|F(ω)|²為ω頻率處的功率，ω₀為半采樣頻率。一幀中子帶功率與總功率之比定義為：