[發明專利]一種基于混合精度配置的卷積神經網絡加速器及其實現方法

有效

• 申請號: 202011050462.6
• 申請日: 2020-09-29
• 公開（公告）號: CN112257844B
• 公開（公告）日: 2022-04-26
• 發明（設計）人: 卓成;周鮮;張力;郭楚亮
• 申請（專利權）人: 浙江大學
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06N3/063;G06F7/498
• 代理公司: 杭州求是專利事務所有限公司 33200
• 代理人: 劉靜

1.一種基于混合精度配置的卷積神經網絡加速器，其特征在于，所述卷積神經網絡中的每一卷積層均由卷積神經網絡加速器計算，所述卷積神經網絡加速器包括低精度處理模塊、高精度處理模塊、片上全局緩存器和權重分離模塊；卷積神經網絡第一層輸入為待處理的圖像，最后一層輸出為卷積計算完成后的圖像；

所述片上全局緩存器由全局低精度權重存儲器、全局高精度權重存儲器、特征圖全局緩存器以及計算過程中的部分和全局緩存器構成；所述特征圖全局緩存器中存儲著從外部存儲器中讀取的特征圖；

所述權重分離模塊用于從外部存儲器中讀取權重數據，依據權重位寬閾值判斷權重數據為高精度權重數據或低精度權重數據，然后將低精度權重數據存入全局低精度權重存儲器，將高精度權重的數據以及該高精度權重在所有權重中的位置存入全局高精度權重存儲器中；

所述低精度處理模塊由若干個低精度計算單元組成的矩形陣列構成，每個低精度計算單元從全局低精度權重存儲器中讀取低精度權重數據，并從特征圖全局緩存器中讀取特征圖數據，矩形陣列中的每列低精度計算單元進行乘加計算并將計算結果累加，然后輸出到高精度處理模塊中；

所述高精度處理模塊由高精度計算單元以及相加模塊構成，所述高精度計算單元和相加模塊個數均與低精度計算單元的列數相同；每個高精度計算單元從全局高精度權重存儲器中讀取高精度權重數據和該高精度權重在所有權重中的位置；每個高精度計算單元中均包含一個權重解碼模塊和特征圖抽取模塊，將權重的位置解碼，得到特征圖數據在所有特征圖中的行數和列數、特征圖數據復用信息以及輸出通道數用于高精度計算單元的后續計算，具體過程為：

根據每個高精度權重在所有權重中的位置可以解碼得到該高精度權重在所有權重數據中的坐標k、u、i與j； 每個高精度權重數據及其坐標可表示為W[k][u][i][j]，其中k與u表示該權重的輸入通道數與輸出通道數，i和j表示該權重的行數和列數；具體解碼過程為：p＝i+j×S+u×S×R+k×S×R×C；其中p為高精度權重在所有權重中的位置，S為所有權重的長度，R為所有權重的高度，C為所有權重的輸入通道數，其中0≤i＜S，0≤j＜R,0≤k＜C；根據上述關系，可以通過p、S、R、C的值，權重解碼模塊得到高精度權重在所有權重數據中的坐標k、u、i與j；

每個權重對應的特征圖位置只和權重的i和j有關，具體關系為，由于上述低精度計算單元與高精度計算單元是按列相加，因此參數j決定了特征圖數據在所有特征圖中的列數，權重解碼模塊將該列數傳入特征圖抽取模塊中；由于上述低精度計算單元與高精度計算單元并不是按行相加，因此i需要根據低精度計算單元和高精度計算單元的排列方式來實現到特征圖數據在所有特征圖中的行數的映射關系，將上述映射關系建立查找表，部署在權重解碼模塊中，參數i經過該查找表后可以得到特征圖數據在所有特征圖中的行數，并將該行數傳入特征圖抽取模塊中；特征圖抽取模塊根據特征圖數據在所有特征圖中的行數與列數，從特征圖全局緩存器中抽取特征圖數據；

由于同一個特征圖數據可能會和多個高精度權重對應，需要利用特征圖數據復用信息以實現特征圖數據的復用；根據卷積計算的特點，對于每個特征圖數據需要與相同輸入通道的權重對應，因此高精度權重的輸入通道參數k可以作為特征圖的復用信息；每個高精度計算單元均包含一個特征圖讀取模塊，由權重解碼模塊將參數k作為特征圖數據復用信息傳入特征圖讀取模塊中，特征圖讀取模塊根據特征圖數據復用信息來控制特征圖抽取模塊抽取到的特征圖的讀取，以實現特征圖數據復用；

每個高精度計算單元根據高精度權重數據以及抽取到的特征圖數據進行有序計算，計算時需要將多個輸出通道的部分和進行累加，根據參數u控制累加時的輸出通道數；在高精度計算單元計算完成后，讀取權重解碼模塊的參數u以明確計算結果的輸出通道，將計算結果輸出至相加模塊正確的輸出通道內；

每個相加模塊讀取低精度計算單元組成的矩形陣列中對應列的計算結果以及對應的高精度計算單元的計算結果并相加得到部分和數據，然后輸出至片上全局緩存器中的部分和全局緩存器；

重復上述過程，直至部分和全局緩存器存儲了全部的計算所需的部分和數據；將部分和數據中累加得到完整的輸出特征圖輸出至外部存儲器；

由加速器計算完成卷積神經網絡中的每一卷積層，得到卷積計算完成后的圖像。

2.根據權利要求1所述的一種基于混合精度配置的卷積神經網絡加速器，其特征在于，權重有效位寬大于權重位寬閾值的記為高精度權重，小于等于權重位寬閾值的記為低精度權重。