[發明專利]神經網絡輸入圖像點云卷積層計算的效率提升方法及電路

在審

• 申請號: 202210231692.5
• 申請日: 2022-03-10
• 公開（公告）號: CN114648107A
• 公開（公告）日: 2022-06-21
• 發明（設計）人: 蔡文利;戴波;孫皓
• 申請（專利權）人: 北京宏景智駕科技有限公司
• 主分類號: G06N3/063
• 分類號: G06N3/063;G06T1/20
• 代理公司: 上海大為知衛知識產權代理事務所(普通合伙) 31390
• 代理人: 何銀南

本發明涉及人工智能計算技術領域，具體涉及神經網絡輸入圖像點云卷積層計算的效率提升方法及電路，對原始輸入數據進行預處理，以提升有效輸入通道數，包括步驟：沿輸入特征的水平方向，將特征沿通道方向拼接；將Kx個尺寸為1*1*CH_in的特征條沿通道方向拼接，得到1*1*CH_in*Kx的特征條；沿輸入特征垂直方向，將步驟S1拼接后的特征繼續沿通道方向進行拼接；將Ky個尺寸為1*1*CH_in*Kx的特征條沿通道方向拼接，得到1*1*CH_in*Kx*Ky的特征條；完成卷積層的效率提升，即Kx*Ky倍；硬件電路，增加多個寄存器組組成的水平方向池化單元和垂直方向池化單元的數據拼接功能；本發明通過對原池化電路進行改進，完成輸入特征通道方向的拼接，將特征的通道數提升Kx*Ky倍，對應的卷積計算效率也提高Kx*Ky倍。

技術領域

本發明涉及人工智能計算技術領域，具體涉及神經網絡輸入圖像點云卷積層計算的效率提升方法及電路。

背景技術

近年來，隨著人工智能滲透到各個應用領域，深度神經網絡在邊緣端的部署成為人工智能落地的重要標志。限制神經網絡加速性能有兩個關鍵因素：峰值算力和計算效率。由于邊緣端芯片尺寸和功耗的制約，不能一味堆砌計算單元來提升峰值算力，如何在已有的算力下提升計算效率已成為加速器設計的重中之重。

參考圖1，目前業界主流的加速器都是將卷積計算分解為矩陣乘法計算，矩陣乘法可以容易實現并行計算，通常加速器會設置兩個維度的并行度來達到較高的峰值算力：輸入通道并行度和輸出通道并行度。增大兩個并行度可以實現較高的峰值算力。如Xilinx的DPU的兩個并行度最大為16，英偉達的NVDLA兩個并行度可達64。

然而，對于神經網絡模型來說，輸入的原始數據的通道數為3(圖像RGB三通道)或4(點云x，y，z，強度)，當加速器的輸入通道并行度較高時(假定為64)，理論效率不高于4.69％(3/64)或6.25％(4/64)。

發明內容

為解決上述問題，本發明提出神經網絡輸入圖像點云卷積層計算的效率提升方法。

本發明解決其技術問題所采用的技術方案是：

本發明第一方面提供了一種神經網絡輸入圖像點云卷積層計算的效率提升方法，對原始輸入數據進行預處理，以提升有效輸入通道數，包括步驟：

步驟S1，沿輸入特征的水平方向，將特征沿通道方向拼接；

將Kx個尺寸為1*1*CH_in的特征條沿通道方向拼接，得到1*1*CH_in*Kx的特征條；

步驟S2，沿輸入特征垂直方向，將步驟S1拼接后的特征繼續沿通道方向進行拼接；

將Ky個尺寸為1*1*CH_in*Kx的特征條沿通道方向拼接，得到1*1*CH_in*Kx*Ky的特征條；

步驟S3，完成卷積層的效率提升，即Kx*Ky倍；

其中，Kx、Ky分別為卷積層在水平方向和垂直方向的權重尺寸。

本發明第二方面提供了一種硬件電路，包括多個寄存器組組成的水平方向池化單元和垂直方向池化單元；

對水平方向池化單元的運算模塊增加數據拼接功能，以完成步驟S1通道方向拼接；

對垂直方向池化單元的運算模塊增加數據拼接功能，以完成步驟S2通道方向拼接；

將水平方向池化和垂直方向池化分兩步進行，以獲得將原特征1*1*CH_in的特征條拼接為1*1*CH_in*Kx*Ky的特征條。

本發明的上述技術方案具有如下有益的技術效果：

通過對原池化電路進行改進，完成輸入特征通道方向的拼接，將特征的通道數提升Kx*Ky倍，對應的卷積計算效率也提高Kx*Ky倍。

附圖說明