[發(fā)明專利]一種基于瑞芯微平臺的輕量化改進目標檢測方法和裝置

在審

• 申請?zhí)枺?/td>: 202110390883.1
• 申請日: 2021-04-12
• 公開（公告）號: CN113065555A
• 公開（公告）日: 2021-07-02
• 發(fā)明（設計）人: 張利紅;蔡敬菊;賈格;吳柔莞;徐智勇
• 申請（專利權）人: 中國科學院光電技術研究所
• 主分類號: G06K9/32
• 分類號: G06K9/32;G06K9/62;G06N3/04
• 代理公司: 北京科迪生專利代理有限責任公司 11251
• 代理人: 楊學明

本發(fā)明公開了一種基于瑞芯微平臺的輕量化改進目標檢測方法和裝置。模型以Tinyyolov4為算法基礎，利用k?means算法對自建數(shù)據(jù)集進行先驗框改進；根據(jù)移植部署的瑞芯微平臺硬件單元特點對骨干網(wǎng)絡中的卷積輸出通道數(shù)、激活函數(shù)均進行改進；通過非對稱8位量化優(yōu)化轉換方式獲得一種輕量化的目標檢測模型。裝置以改進后算法為核心，利用RKNN工具鏈轉換為可部署在瑞芯微平臺上的.rknn模型；通過CPU調度NPU加載.rknn模型，并加速推理經(jīng)GPU預處理的圖像數(shù)據(jù)，實現(xiàn)前向推理；CPU調度GPU進行數(shù)據(jù)后處理，處理后的數(shù)據(jù)傳輸?shù)斤@示器上顯示。本發(fā)明的方法和裝置實現(xiàn)了：輕量化后的目標檢測模型在輕微損失準確率時，權重參數(shù)量減小和檢測速度增快；可以實現(xiàn)實時魯棒的圖像檢測。

技術領域

本發(fā)明涉及目標檢測領域，特別涉及一種基于瑞芯微平臺的輕量化改進目標檢測方法和裝置。

背景技術

目標檢測是計算機視覺和圖像處理中熱點研究課題，在光電探測、自動駕駛、社會生活等場景中占據(jù)重要地位。它主要包含兩類不同的檢測任務：目標位置和目標類別檢測，意在對圖像中出現(xiàn)的感興趣目標進行位置和類別的精準定位。隨著神經(jīng)網(wǎng)絡的興起和計算機性能的提升，基于深度學習的目標檢測算法以更高的性能指標取代傳統(tǒng)的目標檢測算法成為研究主流方向。

目標檢測的深度學習算法通過圖形處理器(GPU)進行訓練推理工作，在檢測精度和魯棒性上取得了較大突破。但GPU受限于接口靈活性、價格和能耗問題，無法滿足一些檢測裝置對于功耗、便攜性等指標的要求，不適合作為算法的應用平臺；同時硬件資源受限的邊緣設備無法直接運行未經(jīng)優(yōu)化的模型。目前學術界主要從輕量化模型結構設計、模型壓縮和高性能芯片架構三方面進行研究。如何在計算存儲資源有限的終端設備上實現(xiàn)檢測精度損失不大時，保證檢測的實時性成為難題。

發(fā)明內容

本發(fā)明要解決的技術問題為：針對上述存在的問題，本發(fā)明的目的在于提供一種在瑞芯微終端設備上實現(xiàn)檢測精度略微損失但加快檢測速度的輕量化目標檢測方法和裝置。

本發(fā)明解決上述技術問題采用的技術方案為：

按照本發(fā)明的一個方面，提供一種提高在瑞芯微終端設備上實現(xiàn)提高檢測精度和加快檢測速度的輕量化目標檢測方法，包括：

1)選定Tiny yolov4為模型結構基礎，對實際應用場景數(shù)據(jù)集的檢測目標先驗框，利用K-means迭代型算法，即公式1進行聚類處理，獲得的結果替換Tiny yolov4模型中原有以COCO數(shù)據(jù)集訓練的先驗框。

D(B,C)＝1-IOU(B,C)

公式(1)中A為數(shù)據(jù)集聚類框大小，B為數(shù)據(jù)集樣本框大小，C為數(shù)據(jù)集聚類中心，IOU表示A、B兩者的交互比，而D作為算法迭代的閾值判斷是否取到合適的先驗框值。

2)結合RK3399pro芯片架構資源，利用NPU中的乘加單元(MAC)對卷積層進行并行計算加速，將骨干網(wǎng)絡中的卷積輸出通道數(shù)均改為3的倍數(shù)；

3)將激活函數(shù)由Leaky Relu替換為Relu激活函數(shù)；實現(xiàn)卷積層、Relu激活函數(shù)及最大池化層(MAX Pooling層)在硬件加速時硬件加速時融合；三者融合優(yōu)化為一個神經(jīng)網(wǎng)絡基本單元(op算子)，進而減少計算帶寬；

4)對經(jīng)過以上步驟訓練出的算法，通過非對稱8位量化(asymmetric_quantized-u8)，即公式2將FP32的浮點數(shù)張量轉化為8位無符號整型(uint8)張量，

公式(2)中，min代表參數(shù)最小值，max代表參數(shù)最大值，x_f代表float32類型數(shù)據(jù)，n代表量化數(shù)據(jù)的比特數(shù)，x_q表示最終量化值，round代表最終量化值的數(shù)據(jù)范圍。