[發(fā)明專利]一種基于RISC-V的TinyML目標檢測加速系統(tǒng)、方法、存儲介質

在審

• 申請?zhí)枺?/td>: 202210086369.3
• 申請日: 2022-01-25
• 公開（公告）號: CN114529797A
• 公開（公告）日: 2022-05-24
• 發(fā)明（設計）人: 王帥;姜凱;魏朝飛
• 申請（專利權）人: 山東浪潮科學研究院有限公司
• 主分類號: G06V10/94
• 分類號: G06V10/94;G06K9/62;G06F12/0877;G06V10/774
• 代理公司: 北京君慧知識產(chǎn)權代理事務所(普通合伙) 11716
• 代理人: 董延麗

本申請公開了一種基于RISC?V的TinyML目標檢測加速系統(tǒng)、方法、存儲介質，該系統(tǒng)包括：乒乓緩存單元，與攝像頭和RISC?V軟核E906單元連接，用于緩存攝像頭采集到的圖像，并將該圖像發(fā)送到RISC?V軟核E906單元；RISC?V軟核E906單元，與所述乒乓緩存單元、指令緩存單元、數(shù)據(jù)總線連接，用于讀取并解析所述指令緩存單元中的指令，并通過所述數(shù)據(jù)總線控制權重和參數(shù)緩存單元、卷積加速單元、卷積緩存單元的進行數(shù)據(jù)處理；卷積加速單元，與所述數(shù)據(jù)總線、權重和參數(shù)緩存單元和卷積緩存單元連接，用于根據(jù)所述權重和參數(shù)緩存單元和卷積緩存單元中的數(shù)據(jù)確定圖像識別結果。

技術領域

本申請涉及深度學習領域，尤其涉及一種基于RISC-V的TinyML目標檢測加速系統(tǒng)、方法、存儲介質。

背景技術

超低功耗微控制器機器學習(Machine Learning with TensorFlow Lite onArduino and Ultra-Low-Power Microcontrollers，TinyML)是機器學習和嵌入式物聯(lián)網(wǎng)設備的交叉領域，是一門新興的工程學科，在邊緣計算和節(jié)能計算等領域具有十分巨大的應用潛能。當前主流方式為結合ARM核使用，但ARM核授權費用昂貴。

精簡指令集計算機(Reduced Instruction Set Computer，RISC-V)指令集作為新興的指令集架構，采用寬松的伯克利軟件發(fā)行版(Berkeley Software Distribution，BSD)協(xié)議，有著十分濃厚的開源氣息，可實現(xiàn)完全自主可控的系統(tǒng)設計。

由于卷積計算復雜，運算量大，現(xiàn)有硬件計算的速度雖然達到了一定標準，但是，還有能夠再提速的空間。

發(fā)明內容

本申請?zhí)峁┝艘环N基于RISC-V的TinyML目標檢測加速系統(tǒng)、方法、存儲介質，解決了在進行卷積計算時，運算速度難以進一步提升的技術問題。

一種基于RISC-V的TinyML目標檢測加速系統(tǒng)，包括：

乒乓緩存單元，與攝像頭和RISC-V軟核E906單元連接，用于緩存攝像頭采集到的圖像，并將該圖像發(fā)送到RISC-V軟核E906單元；

RISC-V軟核E906單元，與所述乒乓緩存單元、指令緩存單元、數(shù)據(jù)總線連接，用于讀取并解析所述指令緩存單元中的指令，并通過所述數(shù)據(jù)總線控制權重和參數(shù)緩存單元、卷積加速單元、卷積緩存單元的進行數(shù)據(jù)處理；

卷積加速單元，與所述數(shù)據(jù)總線、權重和參數(shù)緩存單元和卷積緩存單元連接，用于根據(jù)所述權重和參數(shù)緩存單元和卷積緩存單元中的數(shù)據(jù)確定圖像識別結果。

在本申請的一種實施例中，所述卷積加速單元為乘法器陣列，所述乘法器陣列能夠根據(jù)模型的不同更換組合陣列。

在本申請的一種實施例中，所述權重和參數(shù)緩存單元，與所述數(shù)據(jù)總線和所述卷積加速單元連接，用于存儲TinyML模型訓練生成的權重數(shù)據(jù)、量化參數(shù)和偏移量參數(shù)。

在本申請的一種實施例中，所述顯示單元，與所述RISC-V軟核E906單元連接，用于接收并顯示圖像識別結果。

在本申請的一種實施例中，所述系統(tǒng)還包括：攝像頭模組，與所述乒乓存儲單元連接，用于將采集到的圖像發(fā)送到乒乓緩存單元。

一種基于RISC-V的TinyML目標檢測加速方法，應用于基于RISC-V的TinyML目標檢測加速系統(tǒng)中，包括：

通過攝像頭采集圖像，將所述圖像輸入到乒乓緩存單元；

通過所述乒乓緩存單元將采集到的圖像輸入到RISC-V軟核E906單元；