[發明專利]一種實現檢測模型高效的系統

在審

• 申請號: 202010020666.9
• 申請日: 2020-01-09
• 公開（公告）號: CN113095503A
• 公開（公告）日: 2021-07-09
• 發明（設計）人: 張東;于曉靜
• 申請（專利權）人: 北京君正集成電路股份有限公司
• 主分類號: G06N5/04
• 分類號: G06N5/04;G06N3/04
• 代理公司: 北京竹辰知識產權代理事務所(普通合伙) 11706
• 代理人: 聶鵬

本發明提供一種實現檢測模型高效的系統，所述系統包括：模型推理模塊，用于在卷積神經網絡中的模型推理，且對于模型推理模塊產生的結果進行處理；緩存模塊，用于存儲處理結果，其中緩存模塊分為N個緩存區，其中N為大于等于2的正整數；模型后處理模塊，用于在卷積神經網絡中的模型后處理，且對于模型后處理模塊運行前的數據進行處理。通過本系統，以簡單的模塊結構，讓模型推理模塊和模型結果后處理模塊之間通過緩存模塊實現兩者可以并行運行，從而提高整體檢測模型的整體效率。

技術領域

本發明涉及卷積神經網絡加速技術領域，特別涉及一種實現檢測模型高效的系統。

背景技術

卷積神經網絡(CNN)是一種用于進行圖像處理的、包含卷積計算且具有深度結構的前饋神經網絡，其被廣泛用于圖像分類、圖像識別等。近年來，隨著科技的飛速發展，大數據時代已經到來。深度學習以深度神經網絡(DNN)作為模型，在許多人工智能的關鍵領域取得了十分顯著的成果，如圖像識別、增強學習、語義分析等。卷積神經網絡(CNN)作為一種典型的DNN結構，能有效提取出圖像的隱層特征，并對圖像進行準確分類，在近幾年的圖像識別和檢測領域得到了廣泛的應用。

現有技術中的術語和解釋：

卷積神經網絡(Convolutional Neural Networks,CNN)：是一類包含卷積計算且具有深度結構的前饋神經網絡。

檢測模型：根據目標任務定位圖像中的目標對象的位置。

推理：在深度學習中，推理是指將一個預先訓練好的神經網絡模型部署到實際業務場景中，如圖像分類、物體檢測、在線翻譯等。由于推理直接面向用戶，因此推理性能至關重要，尤其對于企業級產品而言更是如此。

卷積神經網絡推理和模型后處理流水線式運行：對于一幀圖像先運行模型推理部分，然后再運行模型后處理部分。

現有技術中由于模型運行和模型后處理是按順序運行的，必然會存在一個等待的情況，這對于采用硬件加速后，模型推理和模型后處理時間相當時，是會大大降低模型的整體的運行效率。

發明內容

為了解決上述問題，特別是模型推理模塊和模型后處理模塊之間產生等待的問題，本發明的目的在于：通過一種實現檢測模型高效的系統，以簡單的模塊結構，讓模型推理模塊和模型結果后處理模塊之間通過緩存模塊實現兩者可以并行運行，從而提高整體檢測模型的整體效率。

具體地，本發明提供一種實現檢測模型高效的系統，所述系統包括：模型推理模塊，用于在卷積神經網絡中的模型推理，且對于模型推理模塊產生的結果進行處理；

緩存模塊，用于存儲處理結果，其中緩存模塊分為N個緩存區，其中N為大于等于2的正整數；

模型后處理模塊，用于在卷積神經網絡中的模型后處理，且對于模型后處理模塊運行前的數據進行處理。

所述的緩存模塊的N個緩存區，其中N＝2，3，4，5，6，并且分別對應相應個數的緩存區。

優選N＝2，分別對應為第一緩存區和第二緩存區。

在所述模型推理模塊處理完圖像的一幀后，讀取N個緩存區的寫標志位，如果讀到所述寫標志位為1，則將數據寫入相應的該緩存區中，并將讀標志位置為1。

所述讀取N個緩存區的寫標志位，是順序讀取或同時讀取。

由此，本申請的優勢在于：對于在模型推理模塊和模型后處理模塊之間設置緩存模塊，采用多緩存區的緩存策略，從而讓模型推理和模型后處理部分可以同步運行，從而通過簡單的設置緩存區的方式，實現提高檢測模型的整體運行效率的效果。

附圖說明

此處所說明的附圖用來提供對本發明的進一步理解，構成本申請的一部分，并不構成對本發明的限定。