[發(fā)明專利]一種基于邊緣加速的小型化神經(jīng)網(wǎng)絡識別檢測設備及方法

在審

• 申請?zhí)枺?/td>: 202010738466.7
• 申請日: 2020-07-28
• 公開（公告）號: CN114005006A
• 公開（公告）日: 2022-02-01
• 發(fā)明（設計）人: 王琪;楊海偉;張?zhí)礻?/a>
• 申請（專利權）人: 深圳了然視覺科技有限公司
• 主分類號: G06V10/774
• 分類號: G06V10/774;G06V10/82;G06K9/62;G06N3/063
• 代理公司: 深圳市蘭鋒盛世知識產(chǎn)權代理有限公司 44504
• 代理人: 羅炳鋒

本發(fā)明公開了一種基于邊緣加速的小型化神經(jīng)網(wǎng)絡識別檢測設備及方法，所述設備包括小型化板子、相機、可多個并聯(lián)的TPU；所述小型化板子與相機通過USB接口、CSI2接口或者WiFi同小型化板子相連，相機用于采集圖像，并將圖像信息輸入至小型化板子；所述小型化板子通過USB3.0接口與多個并聯(lián)的TPU相連。所述方法為：將所有模型的權重文件轉換為pb文件，該類型文件為固化的權重文件，包含有網(wǎng)絡信息和節(jié)點數(shù)據(jù)；將pb文件壓縮為tflite文件，該類型的權重文件體量小，適合于小型化的設備；將tflite文件編譯為TPU可讀文件，將權重文件搭載到TPU上計算；本發(fā)明具有實現(xiàn)實時的圖像檢測、分類功能等優(yōu)點。

技術領域

本發(fā)明涉及網(wǎng)絡識別領域，尤其是一種小型化神經(jīng)網(wǎng)絡識別檢測設備及方法。

背景技術

目前的識別分類的網(wǎng)絡需要大量的算力，一般會使用PC端的高性能GPU進行相應運算。基于例如樹莓派之類的小型化設備進行神經(jīng)網(wǎng)絡的運算，僅靠其芯片性能達不到算力需求，實現(xiàn)不了實時的識別分類。

現(xiàn)有產(chǎn)品或設備的專利相關情況主要為利用機器學習實現(xiàn)圖像的識別檢測，并具體應用的某一方面，基本使用的是PC端(即使用帶有GPU加速的電腦設備，其體型巨大，且成本也比較高)；或者使用專用的神經(jīng)網(wǎng)絡嵌入式板子(如海思，通常價格在萬元以上)，其設備的成本較大。

另外，有很多成熟的識別神經(jīng)網(wǎng)絡檢測識別算法，其通常采用TensorFlow、keras、caffe、pytorch等框架。通過訓練得到相應的權重文件，可以在PC端實現(xiàn)實時的檢測識別。但是，以TensorFlow常用的ckpt文件為例(其余網(wǎng)絡框架得到的權重文件，如.h5，.weight等都可以相互轉換)，其應用到小型的廉價的嵌入式設備中，現(xiàn)階段卻不可能實現(xiàn)，即不能實現(xiàn)PC端和嵌入式設備的網(wǎng)絡權重通用。

發(fā)明內容

本發(fā)明目的在于提供一種實現(xiàn)實時的圖像檢測、分類功能的基于邊緣加速的小型化神經(jīng)網(wǎng)絡識別檢測設備及方法。

為實現(xiàn)上述目的，采用了以下技術方案：本發(fā)明所述設備包括小型化板子、相機、單個或多個并聯(lián)的TPU；所述小型化板子與相機通過USB接口、CSI2接口或者WiFi同小型化板子相連，相機用于采集圖像，并將圖像信息輸入至小型化板子；所述小型化板子通過USB3.0接口與多個并聯(lián)的TPU相連。

進一步的，所述小型化板子為帶有CPU，且裝有Debian系統(tǒng)的嵌入式板。

進一步的，所述單個或多個并聯(lián)的TPU為邊緣計算加速棒，較為常用的加速棒為google出售的corel，或英特爾的NCS。

另外，本發(fā)明還提供了一種基于邊緣加速的小型化神經(jīng)網(wǎng)絡識別方法，包括以下步驟：

S1，將所有模型的權重文件轉換為pb文件，該類型文件為固化的權重文件，包含有網(wǎng)絡信息和節(jié)點數(shù)據(jù)；

S2，將pb文件壓縮為tflite文件，該類型的權重文件體量小，適合于小型化的設備；

S3，將tflite文件編譯為TPU可讀文件，可將權重文件搭載到TPU上加速計算；

S4，通過以上步驟實現(xiàn)常見的神經(jīng)網(wǎng)絡權重文件的轉換為固化的、小型的權重文件可以搭載到小型的嵌入式設備中，使用TPU進行加速，實現(xiàn)實時的圖像識別檢測。

與現(xiàn)有技術相比，本發(fā)明具有如下優(yōu)點：

1、設備或產(chǎn)品小型化，嵌入式板大概信用卡大小，TPU設備為普通U盤大小；

2、神經(jīng)網(wǎng)絡運算速度快，例如使用工程化常用的SSDv1識別算法測試，其處理速度可以達到60ms每幅圖片(300*300)，可以實現(xiàn)實時檢測。