[發明專利]一種面向深度學習模型的端到端圖片推理系統

在審

• 申請號: 202011593992.5
• 申請日: 2020-12-29
• 公開（公告）號: CN112581353A
• 公開（公告）日: 2021-03-30
• 發明（設計）人: 李晗;劉琛;楊鎮銘;安曉博;尹萍
• 申請（專利權）人: 浪潮云信息技術股份公司
• 主分類號: G06T1/20
• 分類號: G06T1/20;G06N3/04;G06N3/08;G06N5/04
• 代理公司: 濟南信達專利事務所有限公司 37100
• 代理人: 姜明

1.一種面向深度學習模型的端到端圖片推理系統，其特征在于：包括圖片解碼模塊、圖片預處理模塊、多級推理引擎模塊和數據輸出模塊：

圖片解碼模塊將圖片解碼成同一格式，完成解碼后的圖片以指針形式保存在服務器存儲器的內存和顯存中，并建立匹配關系；

圖片預處理模塊為將完成圖像解碼后，將多線程處理的圖片按批進行標準化操作，并處理為網絡模型所需的輸入形式；

多級推理引擎模塊對圖片中的信息進行分析，在各級推理引擎模塊間進行數據傳輸時，傳遞內存指針；

數據輸出模塊為在完成圖片解析后，對結果進行展示、發送或保存。

2.根據權利要求1所述的面向深度學習模型的端到端圖片推理系統，其特征在于：所述圖片解碼模塊為基于硬件加速的圖片加速模塊，提供基于硬件的完全圖片加速圖片解碼，將圖片解碼成同一格式。

3.根據權利要求2所述的面向深度學習模型的端到端圖片推理系統，其特征在于：通過所述圖片解碼模塊記錄圖片的顯存指針和內存指針，并建立指針間的對應關系。

4.根據權利要求3所述的面向深度學習模型的端到端圖片推理系統，其特征在于：圖片解碼模塊在進行圖片解碼時，將所需的插件組合構建解碼工作流水線。

5.根據權利要求4所述的面向深度學習模型的端到端圖片推理系統，其特征在于：所述圖片預處理模塊將圖片數據按網絡所需基于硬件加速的方式進行標準化操作，并處理為網絡所需的輸入形式。

6.根據權利要求5所述的面向深度學習模型的端到端圖片推理系統，其特征在于：所述多級推理引擎模塊支持所有主流深度學習框架訓練出來的模型，對深度學習框架訓練出的模型進行網絡解析及網絡層優化。

7.根據權利要求6所述的面向深度學習模型的端到端圖片推理系統，其特征在于：圖片數據在多級推理引擎模塊之間傳輸時，傳遞各存儲器內存中的指針及匹配關系。

8.根據權利要求7所述的面向深度學習模型的端到端圖片推理系統，其特征在于：所述數據傳輸模塊內置Kafka、MQTT和AMQP代理協議，將結果從服務器發送到客戶端或云端進行結果展示。