[發明專利]基于稀疏矩陣快速語音識別方法和裝置

在審

• 申請號: 201410801905.9
• 申請日: 2014-12-18
• 公開（公告）號: CN104599668A
• 公開（公告）日: 2015-05-06
• 發明（設計）人: 王東;劉超;劉榮;鄭方
• 申請（專利權）人: 清華大學
• 主分類號: G10L15/16
• 分類號: G10L15/16
• 代理公司: 北京潤澤恒知識產權代理有限公司 11319
• 代理人: 蘇培華

技術領域

本申請涉及自然語言處理領域，特別是涉及一種基于稀疏矩陣快速語音識別方法和裝置。

背景技術

深度神經網絡(Deep?Neural?Networks，DNN)已經廣泛應用在語音識別系統中，由此帶來了語音識別率的提高。現有技術中典型的深度神經網絡如圖1所示，其中包含：一個輸入層(I₁-I_n)，2個隱藏層，一個輸出層(O₁-O₂)。

深度神經網絡在進行語音識別系統模型訓練和識別時，語音數據幀被分成短時語音數據幀，語音數據幀經過信號處理之后形成一系列語音特征向量，輸入到DNN的輸入層，經過神經網絡的各個隱藏層，最后進入輸出層，形成識別器可用的概率值。

當前語音識別系統中所采用的深度神經網絡一般為5-10層，每層結點數為1000到10000，這意味著網絡矩陣A_t相當龐大，由此帶來巨大的計算壓力。

現有技術中采用CSR(Compressed?Sparse?Row)或者BSR(Block?Compressed?Sparse?Row)方式存儲稀疏矩陣以減小深度神經網絡的計算量。

CSR存儲方式是稀疏矩陣中最常用的存儲方式，是一種通用的存儲模式。該存儲模式只記錄稀疏矩陣中的非零元素，用三個數組分別存儲稀疏矩陣中的非零元素values，每個非零元對應的列下標columns和每行非零元的起始位置rowIndex。CSR存儲方式如圖2所示。

BSR(Block?Compressed?Sparse?Row)存儲方式僅記錄稀疏矩陣中的非零塊的位置及其對應的非零塊的值。如圖3所示，L、M、N、P和Q是矩陣D中的非零元素塊。

CSR存儲是將稀疏矩陣中的絕大部分矩陣元素置零，一方面可以節約存儲空間，同時可以極大減小計算總量。然而，CSR稀疏矩陣本身的存儲數據都需要索取相應的空間和時間，基于CSR的存儲模式會帶來額外的存儲開銷，同時由于CSR完全打亂了矩陣的空間結構，無法利用CPU的矩陣運算指令，也難以在CPU中進行并行計算，因此對CSR稀疏矩陣的矩陣元素進行置零處理，并不會提高稀疏矩陣的計算效率。

BSR存儲是按照子矩陣結構存儲，因而可以利用CPU的特殊指令和并行計算，比CSR在實際中更有效率。目前稀疏矩陣的稀疏化方法一般采用基于元素值或二階特性的方法進行稀疏矩陣的剪裁，使不重要的矩陣元素歸零，該方法并不能保證非零元素分布的規整性和集中性，因而很難通過BSR存儲方式提高稀疏矩陣的運算效率。

發明內容

本申請提供一種基于稀疏矩陣快速語音識別方法和裝置，以解決現有技術中稀疏矩陣運算效率低的問題。

為了解決上述問題，本申請公開了一種基于稀疏矩陣快速語音識別方法，包括：獲取深度神經網絡的稀疏矩陣；

對所述稀疏矩陣的行下標和列下標進行編碼，得到編碼數組；

使用遺傳算法對編碼數組按照行或列進行編碼數據元素的隨機轉換，得到多個轉換后的編碼數組，其中，所述遺傳算法包括：選擇算子、交叉算子和變異算子；

使用選擇算子選擇滿足一定標準的多個轉換后的編碼數組；

使用交叉算子處理滿足一定標準的轉換后的編碼數組，得到多個交叉后的編碼數組；

使用變異算子處理所述多個交叉后的編碼數組，得到多個變異后的編碼數組；

使用評價函數計算轉換后的編碼數組對應的稀疏矩陣和多個變異后的轉換后的編碼數組對應的稀疏矩陣的評價函數值；

從排序后的評價函數值篩選出至少兩個評價函數值；

將至少兩個評價函數值對應的編碼數組重復進行以上操作，直至找到一個收斂評價函數值；

使用收斂評價函數值對應的稀疏矩陣進行語音識別。

優選地，所述評價函數的函數公式為：

F＝C+∑_ib²_i，其中，C為全零塊個數，b_i為非零塊中的非零值的個數，F為評價函數值，∑為表示求和。

優選地，所述深度神經網絡包括：輸入層、隱藏層、置換層和輸出層。

為了解決上述問題，本申請還公開了一種基于稀疏矩陣快速語音識別裝置，包括：獲取模塊，用于獲取深度神經網絡的稀疏矩陣；

編碼模塊，對所述稀疏矩陣的行下標和列下標進行編碼，得到編碼數組；