[發明專利]一種面向深度學習模型的端到端圖片推理系統

在審

• 申請號: 202011593992.5
• 申請日: 2020-12-29
• 公開（公告）號: CN112581353A
• 公開（公告）日: 2021-03-30
• 發明（設計）人: 李晗;劉琛;楊鎮銘;安曉博;尹萍
• 申請（專利權）人: 浪潮云信息技術股份公司
• 主分類號: G06T1/20
• 分類號: G06T1/20;G06N3/04;G06N3/08;G06N5/04
• 代理公司: 濟南信達專利事務所有限公司 37100
• 代理人: 姜明

本發明公開了一種面向深度學習模型的端到端圖片推理系統，屬于深度學習技術領域。本發明的面向深度學習模型的端到端圖片推理系統包括圖片解碼模塊、圖片預處理模塊、多級推理引擎模塊和數據輸出模塊：圖片解碼模塊將圖片解碼成同一格式，完成解碼后的圖片以指針形式保存在服務器存儲器的內存中；圖片預處理模塊為將完成圖像解碼后，將多線程處理的圖片按批進行標準化操作；多級推理引擎模塊對圖片中的信息進行分析，在各級推理引擎模塊間進行數據傳輸時，傳遞內存指針；數據輸出模塊為在完成圖片解析后，對結果進行展示、發送或保存。該發明的面向深度學習模型的端到端圖片推理系統可以減少開發工作量，具有很好的推廣應用價值。

技術領域

本發明涉及深度學習技術領域，具體提供一種面向深度學習模型的端到端圖片推理系統。

背景技術

目前基于深度學習進行圖片分析，一般包括如下步驟：

(1)基于TensorFlow或者PyTorch等框架進行深度學習模型訓練，可以得到如圖像分類網絡模型ResNet，DenseNet或者目標檢測網絡模型如YOLO，Faster RCNN等，保存的模型權重文件均為各個框架下模型文件的格式，只能在各個框架下進行讀取。當需要將兩個不同框架的模型用于分析同一張圖片時，如用TensorFlow進行目標檢測，用PyTorch進行圖像分類，要將兩個模型結合在一起，需要在系統中安裝多個框架。遇到框架不兼容的問題時，需要在同一框架下重新開發并訓練深度學習網絡模型，非常影響開發效率。

(2)當有圖片需要進行解析時，需要根據圖片位置，如網絡圖片或者本地圖片，選擇圖片解碼工具，不同解碼工具解析圖片后的格式可能會存在不一致的情況，如一般的圖片處理工具會將圖片解碼為RGB格式，而OpenCV會將圖片解碼為BGR格式。完成圖片解碼后，需要對圖片進行預處理送到深度學習模型中，而深度學習模型的標準化參數是固定的，不同的格式會影響深度學習模型圖片預處理的效率。

(3)多級推理引擎銜接：使用深度學習模型進行圖片解析時，需要分析的目標一般會經過多個深度卷積神經網絡模型進行分析。比如車牌識別分析，需要首先對圖片中的車輛進行目標檢測，然后對車輛目標范圍內進行車牌檢測，確定了車牌在圖片中的位置后，進行車牌字符識別最終完成車牌圖片分析。一般來說，各個推理模型之間傳遞數據時都有從GPU到CPU的拷貝和從CPU到GPU的拷貝的過程，多次拷貝會影響處理效率。

(4)輸出結果：完成圖片解析后，將解析結果從服務器發送到客戶端或者云端，以及將解析結果標記到圖片上展示給客戶。

上述步驟存在明顯的缺陷，有待進一步的改進。

發明內容

本發明的技術任務是針對上述存在的問題，提供一種可以方便開發人員在開發時只需專注于構建所需的深度學習模型，而不需要從頭開始設計，減少開發工作量的面向深度學習模型的端到端圖片推理系統。

為實現上述目的，本發明提供了如下技術方案：

一種面向深度學習模型的端到端圖片推理系統，包括圖片解碼模塊、圖片預處理模塊、多級推理引擎模塊和數據輸出模塊：

圖片解碼模塊將圖片解碼成同一格式，完成解碼后的圖片以指針形式保存在服務器存儲器的內存和顯存中，并建立匹配關系；

圖片預處理模塊為將完成圖像解碼后，將多線程處理的圖片按批進行標準化操作，并處理為網絡模型所需的輸入形式；

多級推理引擎模塊對圖片中的信息進行分析，在各級推理引擎模塊間進行數據傳輸時，傳遞內存指針；

數據輸出模塊為在完成圖片解析后，對結果進行展示、發送或保存。

其中圖片預處理模塊為將完成圖像解碼后，在GPU上將多線程處理的圖片按批進行標準化操作進行加速，并轉換為網絡模型所需的輸入形式；

本發明中采用一級推理引擎和二級推理引擎。