[發(fā)明專利]一種基于瑞芯微平臺(tái)的輕量化改進(jìn)目標(biāo)檢測(cè)方法和裝置

在審

• 申請(qǐng)?zhí)枺?/td>: 202110390883.1
• 申請(qǐng)日: 2021-04-12
• 公開（公告）號(hào): CN113065555A
• 公開（公告）日: 2021-07-02
• 發(fā)明（設(shè)計(jì)）人: 張利紅;蔡敬菊;賈格;吳柔莞;徐智勇
• 申請(qǐng)（專利權(quán)）人: 中國(guó)科學(xué)院光電技術(shù)研究所
• 主分類號(hào): G06K9/32
• 分類號(hào): G06K9/32;G06K9/62;G06N3/04
• 代理公司: 北京科迪生專利代理有限責(zé)任公司 11251
• 代理人: 楊學(xué)明

1.一種基于瑞芯微平臺(tái)的輕量化改進(jìn)目標(biāo)檢測(cè)方法，其特征在于：所述的基于瑞芯微平臺(tái)的輕量化改進(jìn)目標(biāo)檢測(cè)方法包括如下過程：

選定Tiny yolov4為模型結(jié)構(gòu)基礎(chǔ)，對(duì)實(shí)際應(yīng)用場(chǎng)景數(shù)據(jù)集的檢測(cè)目標(biāo)先驗(yàn)框，利用K-means迭代型算法，即公式(1)進(jìn)行聚類處理，獲得的結(jié)果替換Tiny yolov4模型中原有以COCO數(shù)據(jù)集訓(xùn)練的先驗(yàn)框，

D(B,C)＝1-IOU(B,C)

其中，公式(1)中A為數(shù)據(jù)集聚類框大小，B為數(shù)據(jù)集樣本框大小，C為數(shù)據(jù)集聚類中心，IOU表示A、B兩者的交互比，而D作為算法迭代的閾值判斷是否取到合適的先驗(yàn)框值。

2.如權(quán)利要求1所述的基于瑞芯微平臺(tái)的輕量化改進(jìn)目標(biāo)檢測(cè)方法，其特征在于，結(jié)合RK3399pro芯片架構(gòu)資源，利用NPU中的乘加單元(MAC)對(duì)卷積層進(jìn)行并行計(jì)算加速，將骨干網(wǎng)絡(luò)中的卷積輸出通道數(shù)均改為3的倍數(shù)。

3.如權(quán)利要求2所述的基于瑞芯微平臺(tái)的輕量化改進(jìn)目標(biāo)檢測(cè)方法，其特征在于：將激活函數(shù)由Leaky Relu替換為Relu激活函數(shù)；實(shí)現(xiàn)卷積層、Relu激活函數(shù)及最大池化層(MAXPooling層)在硬件加速時(shí)融合，三者融合優(yōu)化為一個(gè)神經(jīng)網(wǎng)絡(luò)計(jì)算基本單元(op算子)，進(jìn)而減少計(jì)算帶寬。

4.如權(quán)利要求3所述的基于瑞芯微平臺(tái)的輕量化改進(jìn)目標(biāo)檢測(cè)方法，其特征在于：通過非對(duì)稱8位量化(asymmetric_quantized-u8)，即公式(2)將FP32的浮點(diǎn)數(shù)張量轉(zhuǎn)化為8位無符號(hào)整型(uint8)張量，

其中，公式(2)中，min代表參數(shù)最小值，max代表參數(shù)最大值，xf代表float32類型數(shù)據(jù)，n代表量化數(shù)據(jù)的比特?cái)?shù)，xq表示最終量化值，round代表最終量化值的數(shù)據(jù)范圍。

5.如權(quán)利要求4所述的基于瑞芯微平臺(tái)的輕量化改進(jìn)目標(biāo)檢測(cè)方法，其特征在于：所述基于瑞芯微平臺(tái)的輕量化改進(jìn)目標(biāo)檢測(cè)方法進(jìn)一步包括：

1)將經(jīng)過以上改進(jìn)后的算法網(wǎng)絡(luò)通過RKNN工具鏈轉(zhuǎn)化為.rknn模型；

所述的改進(jìn)后的算法網(wǎng)絡(luò)以Tiny yolov4為模型基礎(chǔ)，替換了自建數(shù)據(jù)集的先驗(yàn)框、骨干網(wǎng)絡(luò)中的卷積輸出通道數(shù)均改為3的倍數(shù)、激活函數(shù)為Relu函數(shù)后；通過自建數(shù)據(jù)集進(jìn)行訓(xùn)練得到的模型；再通過非對(duì)稱8位量化轉(zhuǎn)換而來的輕量化改進(jìn)目標(biāo)檢測(cè)模型；

2)瑞芯微平臺(tái)加載.rknn模型，并編寫數(shù)據(jù)獲取、數(shù)據(jù)分析與格式轉(zhuǎn)換、數(shù)據(jù)后處理函數(shù)形成算法模塊；

3)攝像模塊對(duì)輸入圖像獲取后，將數(shù)據(jù)傳輸至算法模塊；

4)算法模塊利用改進(jìn)后的模型對(duì)傳輸?shù)膱D像數(shù)據(jù)進(jìn)行數(shù)據(jù)分析與格式轉(zhuǎn)換和數(shù)據(jù)后處理，進(jìn)而實(shí)現(xiàn)目標(biāo)檢測(cè)；

5)將目標(biāo)檢測(cè)結(jié)果和處理后的圖像在顯示模塊上進(jìn)行輸出。

6.一種基于瑞芯微平臺(tái)的輕量化改進(jìn)目標(biāo)檢測(cè)裝置，其特征在于：所述基于瑞芯微平臺(tái)的輕量化改進(jìn)目標(biāo)檢測(cè)裝置包括：

獲取模塊，用于對(duì)瑞芯微RK3399pro平臺(tái)參數(shù)進(jìn)行配置，使用瑞芯微硬件編解碼應(yīng)用程序(MPP)中間件對(duì)媒體接口進(jìn)行初始化，使得USB攝像頭可以采集周圍環(huán)境信息，并將圖像數(shù)據(jù)傳輸至GPU；

處理模塊，用于利用CPU調(diào)度NPU使用加載rknn模型(load_rknn)接口加載.rknn模型，并使用初始化運(yùn)行(init_runtime)接口初始化RKNN軟件開發(fā)包(SDK)環(huán)境，對(duì)模型參數(shù)進(jìn)行配置、申請(qǐng)數(shù)據(jù)存儲(chǔ)空間；

對(duì)攝像頭獲取的每幀圖像數(shù)據(jù)通過瑞芯微硬件編解碼應(yīng)用程序(MPP)中間件進(jìn)行處理，使得圖像格式、大小、通道數(shù)都滿足算法輸入的條件；

CPU調(diào)度NPU使用硬件推理(inference)接口對(duì)進(jìn)行數(shù)據(jù)處理后的每幀圖像進(jìn)行推理；

數(shù)據(jù)后處理模塊，用于將推理得到的結(jié)果進(jìn)行數(shù)據(jù)解析，并將檢測(cè)到的目標(biāo)種類和位置信息在圖像上進(jìn)行標(biāo)注，隨后通過輸出接口在顯示器上顯示；

結(jié)束檢測(cè)模塊，用于通過釋放資源(release)接口釋放視頻數(shù)據(jù)存儲(chǔ)空間和RKNN對(duì)象。

7.一種基于瑞芯微平臺(tái)的檢測(cè)裝置，其特征在于：該檢測(cè)裝置運(yùn)行權(quán)利要求1～5任一項(xiàng)所述輕量化改進(jìn)目標(biāo)檢測(cè)方法。

8.一種用于目標(biāo)檢測(cè)的移動(dòng)終端，其特征在于：搭載權(quán)利要求7所述檢測(cè)裝置。