[發(fā)明專利]一種基于RISC-V的TinyML目標(biāo)檢測加速系統(tǒng)、方法、存儲(chǔ)介質(zhì)

在審

• 申請(qǐng)?zhí)枺?/td>: 202210086369.3
• 申請(qǐng)日: 2022-01-25
• 公開（公告）號(hào): CN114529797A
• 公開（公告）日: 2022-05-24
• 發(fā)明（設(shè)計(jì)）人: 王帥;姜?jiǎng)P;魏朝飛
• 申請(qǐng)（專利權(quán)）人: 山東浪潮科學(xué)研究院有限公司
• 主分類號(hào): G06V10/94
• 分類號(hào): G06V10/94;G06K9/62;G06F12/0877;G06V10/774
• 代理公司: 北京君慧知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11716
• 代理人: 董延麗

1.一種基于RISC-V的TinyML目標(biāo)檢測加速系統(tǒng)，其特征在于，包括：

乒乓緩存單元，與攝像頭和RISC-V軟核E906單元連接，用于緩存攝像頭采集到的圖像，并將該圖像發(fā)送到RISC-V軟核E906單元；

RISC-V軟核E906單元，與所述乒乓緩存單元、指令緩存單元、數(shù)據(jù)總線連接，用于讀取并解析所述指令緩存單元中的指令，并通過所述數(shù)據(jù)總線控制權(quán)重和參數(shù)緩存單元、卷積加速單元、卷積緩存單元的進(jìn)行數(shù)據(jù)處理；

卷積加速單元，與所述數(shù)據(jù)總線、權(quán)重和參數(shù)緩存單元和卷積緩存單元連接，用于根據(jù)所述權(quán)重和參數(shù)緩存單元和卷積緩存單元中的數(shù)據(jù)確定圖像識(shí)別結(jié)果。

2.根據(jù)權(quán)利要求1所述的系統(tǒng)，其特征在于，所述卷積加速單元為乘法器陣列，所述乘法器陣列能夠根據(jù)模型的不同更換組合陣列。

3.根據(jù)權(quán)利要求1所述的系統(tǒng)，其特征在于，所述權(quán)重和參數(shù)緩存單元，與所述數(shù)據(jù)總線和所述卷積加速單元連接，用于存儲(chǔ)TinyML模型訓(xùn)練生成的權(quán)重?cái)?shù)據(jù)、量化參數(shù)和偏移量參數(shù)。

4.根據(jù)權(quán)利要求1所述的系統(tǒng)，其特征在于，所述顯示單元，與所述RISC-V軟核E906單元連接，用于接收并顯示圖像識(shí)別結(jié)果。

5.根據(jù)權(quán)利要求1所述的系統(tǒng)，其特征在于，所述系統(tǒng)還包括：

攝像頭模組，與所述乒乓存儲(chǔ)單元連接，用于將采集到的圖像發(fā)送到乒乓緩存單元。

6.一種基于RISC-V的TinyML目標(biāo)檢測加速方法，其特征在于，應(yīng)用于基于RISC-V的TinyML目標(biāo)檢測加速系統(tǒng)中，包括：

通過攝像頭采集圖像，將所述圖像輸入到乒乓緩存單元；

通過所述乒乓緩存單元將采集到的圖像輸入到RISC-V軟核E906單元；

通過所述RISC-V軟核E906單元從指令緩存單元中讀取指令，將所述指令解析后發(fā)送到數(shù)據(jù)總線，通過所述數(shù)據(jù)總線控制權(quán)重和參數(shù)緩存單元、卷積加速單元、卷積緩存單元對(duì)圖像數(shù)據(jù)進(jìn)行處理；

通過所述RISC-V軟核E906單元將圖像識(shí)別結(jié)果輸出到顯示單元。

7.根據(jù)權(quán)利要求6所述的方法，其特征在于，所述通過所述乒乓緩存單元將采集到的圖像輸入到RISC-V軟核E906單元，具體包括：

所述乒乓存儲(chǔ)單元包括多個(gè)緩存區(qū)；

攝像頭向乒乓存儲(chǔ)單元的所述緩存區(qū)完成圖像數(shù)據(jù)的發(fā)送后，通過乒乓存儲(chǔ)單元向所述RISC-V軟核E906單元發(fā)送對(duì)應(yīng)所述緩存區(qū)的緩存完成信號(hào)；

所述RISC-V軟核E906單元根據(jù)所述緩存完成信號(hào)，讀取所述緩存完成信號(hào)對(duì)應(yīng)的緩存區(qū)中的圖像數(shù)據(jù)；

當(dāng)所述RISC-V軟核E906單元讀取完成后，通過乒乓存儲(chǔ)單元向攝像頭發(fā)送緩存區(qū)讀取完成信號(hào)，攝像頭接收到所述緩存區(qū)讀取完成信號(hào)后，向?qū)?yīng)的緩存區(qū)發(fā)送圖像數(shù)據(jù)；

重復(fù)執(zhí)行上述過程，直至數(shù)據(jù)流讀取完成。

8.根據(jù)權(quán)利要求6所述的方法，其特征在于，所述權(quán)重和參數(shù)緩存單元包括TinyML模型訓(xùn)練生成的權(quán)重?cái)?shù)據(jù)、量化參數(shù)和偏移量參數(shù)。

9.根據(jù)權(quán)利要求6所述的方法，其特征在于，所述卷積緩存單元用于緩存所述卷積加速單元的輸入輸出計(jì)算數(shù)據(jù)。

10.一種非易失性存儲(chǔ)介質(zhì)，存儲(chǔ)有計(jì)算機(jī)可執(zhí)行指令，其特征在于，所述計(jì)算機(jī)可執(zhí)行指令設(shè)置為：

通過攝像頭采集圖像，將所述圖像輸入到乒乓緩存單元；

通過所述乒乓緩存單元將采集到的圖像輸入到RISC-V軟核E906單元；

通過所述RISC-V軟核E906單元從指令緩存單元中讀取指令，將所述指令解析后發(fā)送到數(shù)據(jù)總線，通過所述數(shù)據(jù)總線控制權(quán)重和參數(shù)緩存單元、卷積加速單元、卷積緩存單元對(duì)圖像的處理；

通過所述RISC-V軟核E906單元將圖像識(shí)別結(jié)果輸出到顯示單元。