[發明專利]一種高效的深度學習模型部署框架

在審

• 申請號: 202010044558.5
• 申請日: 2020-01-16
• 公開（公告）號: CN111240656A
• 公開（公告）日: 2020-06-05
• 發明（設計）人: 王亮;廖鏡森;楊嘉盛
• 申請（專利權）人: 深圳市守行智能科技有限公司
• 主分類號: G06F8/30
• 分類號: G06F8/30;G06F8/35;G06N20/00
• 代理公司: 滄州市宏科專利代理事務所(普通合伙) 13134
• 代理人: 韓超

本發明涉及人工智能的技術領域，特別是涉及一種高效的深度學習模型部署框架，以當前市面上最優的算法作為基礎，以JSON配置文件為紐帶，將算法以指定順序執行，實現了深度學習主干網絡在指定設備環境的組建和運行，實現了深度學習模型由python端一鍵部署至指定設備的功能，同時模型模塊實現了實用模型算法的一鍵遷移檢測、識別和系統部署，模型部署采用JSON配置文件，易于維護、管理和更新；包括算法模塊、接口模塊、組織模塊、網絡模塊和模型模塊，算法模塊、接口模塊、組織模塊、網絡模塊和模型模塊的關系呈金字塔結構，算法模塊提供基礎算法作為整個深度學習框架的基礎。

技術領域

本發明涉及人工智能的技術領域，特別是涉及一種高效的深度學習模型部署框架。

背景技術

眾所周知，近幾年隨著人工智能的飛速發展，智能設備在監控、識別、檢測等領域發揮著重要作用，也涌現出許多優秀的方案和產品。而人工智能模型的部署是人工智能產品中繁瑣且重要的環節，為了提高模型的部署效率發明了一種高效的深度學習模型部署框架，該框架使用C/C++開發，使用JSON文本部署模型。目前在人工智能領域中，存在許多優秀的深度學習模型部署框架，如CMSIS-NN，NCNN等，但該類的深度學習模型部署框架更多的是考慮通用性，因此在指定設備或產品上無法將模型性能發揮至極致，現有的深度學習模型部署框架仍處于開發和優化階段，如果將其用于產品的開發可能存在隱患且不利于后期維護，支持一鍵部署的模型較單一，大多數只支持熱門的網絡結構，如VGG系列、Resnet系列和YOLO系列等，對于用戶自己搭建的網絡結構支持并不理想，且在跨平臺和多系統支持上具有局限性。

發明內容

為解決上述技術問題，本發明提供一種融合現有深度學習算法庫的最優算法，可跨平臺，支持多系統，模型部署靈活、方便，易維護、管理和更新，在指定設備或產品中，可將模型的性能發揮至極致的高效的深度學習模型部署框架。

本發明的一種高效的深度學習模型部署框架，包括算法模塊、接口模塊、組織模塊、網絡模塊和模型模塊，算法模塊、接口模塊、組織模塊、網絡模塊和模型模塊的關系呈金字塔結構，算法模塊提供基礎算法作為整個深度學習框架的基礎，接口模塊對算法模塊進行組裝或二次封裝，為組織模塊提供易用、靈活的接口函數，起到橋梁的作用，組織模塊為整個深度學習框架的核心，通過解析JSON模型配置文件獲取模型的網絡信息，并根據模型的網絡信息導出模型參數，同時根據模型網絡各層間的順序調用相對應的接口函數，從而實現模型一鍵部署功能，網絡模塊為組織模塊的產物，網絡模塊提供當下熱門且實用的主干網絡，開發人員可直接將網絡模塊的主干網絡應用于開發過程中，模型模塊為整個深度學習框架的應用實例，由組織模塊或網絡模塊提供主干網絡，由接口模塊提供算法接口函數，由算法模塊提供基礎算法，開發人員可直接將該模塊中的模型用于開發過程。

本發明的一種高效的深度學習模型部署框架，算法模塊包括卷積、池化，全連接、圖像處理等算法，算法模塊作為深度學習框架的最底層，使用C語言和匯編語言編寫一個個獨立的算法，為整個深度學習框架提供算法基礎。

本發明的一種高效的深度學習模型部署框架，接口模塊使用函數指針的方式對算法進行組裝或二次封裝，從而使得接口函數變得靈活和易于調用。

本發明的一種高效的深度學習模型部署框架，組織模塊通過讀取JSON模型配置文件，獲取模型結構信息，在python端時，通過讀取JSON文件的模型結構信息，將Keras、Tensorflow或PyTorch框架下的模型參數導出，并保存為特定文件格式，在C/C++端時，通過讀取JSON文件的模型結構信息、設備或產品性能信息和導出的模型參數，組建出一個可直接運行于C/C++端的深度學習網絡。

本發明的一種高效的深度學習模型部署框架，網絡模塊塊記錄和實現了目前實用、熱門的網絡結構，包括VGG系列、ResNet系列、MobileNet系列、Darknet等主干網絡。