[發明專利]提高浮點矩陣運算效率的方法及系統

在審

• 申請號: 201710316207.3
• 申請日: 2017-05-08
• 公開（公告）號: CN107045494A
• 公開（公告）日: 2017-08-15
• 發明（設計）人: 魏遠明;史鵬騰;王敏
• 申請（專利權）人: 科大訊飛股份有限公司
• 主分類號: G06F17/16
• 分類號: G06F17/16
• 代理公司: 北京維澳專利代理有限公司11252
• 代理人: 趙景平,宋少華

技術領域

本發明涉及浮點矩陣運算領域，具體涉及一種提高浮點矩陣運算效率的方法及系統。

背景技術

在語音和圖像處理等領域常常需要對浮點矩陣序列進行運算，如在語音識別中使用神經網絡語言模型，需要對大量的符合一定分布規律的浮點矩陣序列W_m×n(1)、W_m×n(2)、…、W_m×n(N)和X_n×p(1)、X_n×p(2)、…、X_n×p(N)(m、n、p、N都為正整數)做相乘運算，即W_m×n(1)×R_n×p(1)、W_m×n(2)×R_n×p(2)、…、W_m×n(N)×R_n×p(N)，這些領域要求較快運算響應時間。若直接對浮點矩陣序列進行運算，以float(單精度浮點數)矩陣為例，由于float占據4個字節，而對于定長的32位及以上高位定長寄存器一次能處理的float數量是short(短整型)的二分之一或char(字符型)的四分之一，在實際使用中會因為計算次數過多增加運算響應時間，因而在要求較快響應時間系統中迫切需要降低矩陣運算時間。業內通用的做法是將浮點矩陣定點化為整型或char型矩陣。定點化后，運算響應時間至少降低50％以上，以float為例，將float矩陣定點化為short或char型矩陣后，通過采用SIMD(Single Instruction Multiple Data，單指令多數據流)指令集，可以將矩陣相乘的運算響應時間降低到原來的50％或25％。

現有的浮點矩陣定點化方案是對整個矩陣乘以同一個2ⁿ定標參數，由于整個矩陣使用同一個標值n，當某些行的浮點數值分布差異較大時，不能同時保證運算響應時間和精度，即將定點化后的數還原為浮點數后會產生精度損失。比如，矩陣的其中一行的值都比較小，另一行的值都偏大，兩行分別為(1.1、1.2、1.3)和(20、30、40)，如果要定點化到char型數，則需要同時乘以3，則第一行所有的數定點化后的結果都為3，精度損失很大，且在浮點矩陣乘、加、減運算后精度損失進一步放大；而如果要保證保留一位小數的精度，則兩行至少需要分別乘以16，那么必須將浮點矩陣定點化到short型，而short型運算響應時間是char型的2倍。另外，現有方法對所有浮點數同時放大2ⁿ倍定標，數的大小呈指數級增長，在矩陣乘、加、減運算時爆標風險很大。而且現有的2ⁿ定標方法在矩陣序列運算中需要對所有矩陣一一定標，耗費較多運算響應時間。

發明內容

本發明實施例提供一種提高浮點矩陣運算效率的方法及系統，降低浮點矩陣序列運算響應時間，并保證運算精度。

為此，本發明提供如下技術方案：

一種提高浮點矩陣運算效率的方法，所述方法包括：

抽取浮點矩陣運算中的樣本矩陣，得到樣本矩陣序列；

確定所述樣本矩陣序列的最優定標參數序列；

對所述最優定標參數序列中的定標參數進行變換，并將變換后的定標參數序列應用到所有矩陣序列運算中。

可選地，所述確定所述樣本矩陣序列的最優定標參數序列包括：

以行為單位，獲取所述樣本矩陣序列中的各行向量；

對各行的行向量進行排序，以得到各行的行向量最大值和行向量最小值；

根據所述行向量最大值和行向量最小值確定各行的初始定標參數；

基于預設優化指標迭代優化所述初始定標參數，得到所述樣本矩陣序列的最優定標參數序列；

或者，所述確定所述樣本矩陣序列的最優定標參數序列包括：

以列為單位，獲取所述樣本矩陣序列中的各列向量；

對各列的列向量進行排序，以得到各列的列向量最大值和列向量最小值；

根據所述列向量最大值和列向量最小值確定各列的初始定標參數；

基于預設優化指標迭代優化所述初始定標參數，得到所述樣本矩陣序列的最優定標參數序列。

可選地，采用以下任意一種排序方法對所述樣本矩陣序列中的行向量或列向量進行排序：桶排序、選擇排序、計數排序、基數排序、插入排序、希爾排序、歸并排序、冒泡排序、堆排序、快速排序。

優選地，利用線性映射關系使用兩點法確定定標參數的初始值。

優選地，所述預設優化指標包括：精度損失、覆蓋度；