[發明專利]一種基于海思SD3403的多場景監測方法

有效

• 申請號: 202211586312.6
• 申請日: 2022-12-11
• 公開（公告）號: CN115661723B
• 公開（公告）日: 2023-03-28
• 發明（設計）人: 肖濤;徐衛星;姚俊俊;戚原野;韓兆宇
• 申請（專利權）人: 常州海圖信息科技股份有限公司
• 主分類號: G06V20/40
• 分類號: G06V20/40;G06V20/52;G06V10/82;G06N3/08
• 代理公司: 常州市天龍專利事務所有限公司 32105
• 代理人: 張萬兵

本發明公開了一種基于海思SD3403的多場景監測方法。涉及圖形通信技術領域，服務器端基于caffe框架，使用yolov3對目標進行訓練，并得到prototxt文件和caffemodel文件，根據待預測對象的格式及訓練時的預處理操作，編寫配置代碼，使其轉成SD3403平臺支持的om模型，此時的om模型已可部署至平臺，并進行推理，將不同場景下的om模型轉化為二進制文件，轉化時，利用Qt模型轉化工具對om模型進行參數設置，生成平臺所需的二進制文件，將所有的二進制文件傳入SD3403平臺，本發明基于SD3403平臺，SD3403平臺體積小，算力強，方便部署，節約空間，caffe框架的自定義程度較高，可以自定義加入算子，使網絡更靈活。

技術領域

本發明涉及圖形通信技術領域，具體為一種基于海思SD3403的多場景監測方法。

背景技術

海思SD3403平臺是針對高清/超高清（1080p/4M/5M/4K）IPC產品應用開發的專業SoC芯片，集成了ARM A55四核處理器和神經網絡推理引擎，支持多種智能算法應用，神經網絡加速引擎，算力達4Tops INT8，支持完整的API和工具鏈。依靠其強大的算力和豐富的接口，可在此平臺上進行多個檢測算法模型的遷移，同時使用該平臺下的模型壓縮工具，可實現模型的量化，從而加快模型推理速度，實現算法優化。

發明內容

（一）解決的技術問題

針對現有技術的不足，本發明提供了一種基于海思SD3403平臺和caffe框架，對在服務器上訓練得到的yolov3模型進行轉換，從而得到SD3403支持的模型類型，為了提高計算速度，平臺可對轉換后的模型進行量化，即對模型的權重和數據進行低比特處理，讓最終生成的網絡模型更加輕量化，從而達到節省網絡模型存儲空間、降低傳輸時延、提高計算效率，達到性能提升與優化的目標。為了提升監測場景的多樣性，可以利用該平臺的多通道分別對不同場景下的視頻流進行分析。

通過在該平臺部署檢測模型的方式，可以擴展視覺檢測的應用場景，減少了應用體積，提高了靈活性。

（二）技術方案

為實現上述目的，本發明提供如下技術方案：一種基于海思SD3403的多場景監測方法，基于海思SD3403平臺和caffe框架，在模型遷移前，需要先在服務器端訓練得到caffe框架的模型和權重文件，根據待測對象的格式和訓練時的預處理方式，通過海思平臺的模型轉換工具對服務器上的模型進行轉換，若要加快模型在平臺的推理速度，則需要使用模型壓縮工具對轉換后的模型進行壓縮，針對不同場景，可以轉換多個模型并上傳至海思SD3403平臺，為了方便管理以及生成不同的模型，根據程序預留的接口用Qt制作模型封裝工具，以方便設置模型參數（如模型尺寸，模型描述等），以生成滿足要求的模型。

優選的，單個模型推理時，服務器端基于caffe框架，使用yolov3對目標進行訓練，并得到prototxt文件和caffemodel文件，根據待預測對象的格式（yuv420SP或RGB等）及訓練時的預處理操作，編寫配置代碼；若需加快推理速度，則還需將prototxt文件和caffemodel文件量化，并將量化后的文件使用同樣的方法轉為om模型，再部署至平臺，即可進行加速推理。

優選的，所述單個模型推理包括以下步驟：

S1、配置訓練和測試時的各種參數，包括訓練的策略、學習率的變化率以及模型保存的頻率參數；

S2、將非Caffe框架下的訓練模型拼接并生成Caffe模型下的Prototxt文本格式的參數數據文件；

S3、prototxt，描述測試網絡層的網絡結構文件，將文件轉化為om文件，保存壓縮后的prototxt訓練模型的數據文件；

S4、描述caffemodel訓練網絡層的網絡結構文件，將caffemodel文件轉化為om文件，保存壓縮后的caffemodel訓練模型的數據文件；