[發明專利]神經網絡表示標準框架結構

有效

• 申請號: 201810575097.7
• 申請日: 2018-06-06
• 公開（公告）號: CN108985448B
• 公開（公告）日: 2020-11-17
• 發明（設計）人: 田永鴻;陳光耀;史業民;王耀威
• 申請（專利權）人: 北京大學
• 主分類號: G06N3/063
• 分類號: G06N3/063;G06N3/04
• 代理公司: 北京辰權知識產權代理有限公司 11619
• 代理人: 劉廣達

本發明提供一種神經網絡表示標準框架結構，包括：可互操作表示模塊，通過對輸入的神經網絡進行轉換得到可互操作的表示格式，其包含對神經網絡的語法定義、支持的運算操作定義和權重格式定義；緊湊表示模塊，將可互操作表示的神經網絡通過神經網絡壓縮算法轉換為序列化格式，其包含壓縮后的神經網絡的語法定義、支持的運算操作定義和權重格式定義；編解碼表示模塊，通過神經網絡壓縮算法將緊湊表示的神經網絡轉換為編解碼表示，其包含壓縮后的神經網絡的語法定義、支持的運算操作定義和編解碼后權重格式定義；封裝表示模塊，將安全信息和身份認證信息和神經網絡一起封裝，由此將神經網絡轉換為模型。

技術領域

本發明涉及人工智能領域，尤其涉及深度學習中神經網絡表示標準框架結構。

背景技術

人工智能作為新一輪產業變革的核心驅動力，將重構生產、分配、交換、消費等經濟活動各環節，形成從宏觀到微觀各領域的智能化新需求，催生新技術、新產品、新產業、新業態、新模式。深度學習是近年來人工智能發展的核心技術，而神經網絡表示正是深度學習技術應用中的基礎性問題。其中，卷積神經網絡是目前應用最廣泛的深度神經網絡，手寫數字識別、人臉識別、車牌檢測與識別、圖片檢索等大量應用領域都由其驅動，為人工智能的快速發展和廣泛使用提供了動力。

目前國內外已有很多深度學習開源算法框架來支持深度學習算法的開發，包括TensorFlow、Caffe、MxNet、PyTorch、CNTK等，不同算法平臺分別采用了自己特有的網絡、模型表示和存儲標準。由于目前尚無統一神經網絡表示標準，不同深度學習開源算法框架不能互操作與協同工作，例如Caffe上開發的模型不能在TensorFlow上直接使用。同時不同深度學習框架之間對神經網絡粒度定義不同，不僅妨礙硬件廠商對網絡的加速和優化，同時對于新出現的運算操作，需要進行重定義。通過制定神經網絡表示格式，能夠簡化研究、應用與深度學習框架的耦合關系，從而使得相關技術與產品可以更方便地應用在人工智能的不同領域與行業。

同時，大型的神經網絡具有大量的層級與節點，這也導致其權重參數數量巨大，因此考慮如何減少這些神經網絡所需的內存與計算量就顯得極為重要，特別是對于在線學習和增量學習等實時應用。此外，近幾年智能可穿戴設備的流行，也讓人們關注如何在資源(內存、CPU、能耗和帶寬等)有限的便攜式設備上部署深度學習應用。例如ResNet-50有50層卷積網絡，其對存儲需求和計算需求很大。如果剪枝一些冗余的權重后，其大概能節約75％的參數和50％的計算時間。對于只有資源受限的移動設備來說，如何使用這些方法壓縮模型就十分重要了。然而，如今的壓縮算法都依賴于不同的深度學習開源算法框架，導致不同深度學習算法框架上生成的壓縮后的神經網絡模型不能互相兼容，同時也未存在對這些壓縮后的神經網絡的統一表示，導致模型的兼容性變差，妨礙受限設備上深度學習算法的應用與開發。

發明內容

本發明的目的是提供一種神經網絡表示標準框架結構，以打破各種深度學習算法框架之間的壁壘，促進深度學習在可穿戴設備上的開發和應用。

為實現上述目的，本發明提供了一種神經網絡表示標準框架結構，包括：

可互操作表示模塊，通過對輸入的神經網絡進行轉換得到可互操作的表示格式，其包含對神經網絡的語法定義、支持的運算操作定義和權重格式定義；

緊湊表示模塊，將可互操作表示的神經網絡通過神經網絡壓縮算法轉換為序列化格式的緊湊表示格式，其包含壓縮后的神經網絡的語法定義、支持的運算操作定義和權重格式定義；

編解碼表示模塊，通過神經網絡壓縮算法將緊湊表示格式的神經網絡轉換為編解碼表示格式，其包含壓縮后的神經網絡的語法定義、支持的運算操作定義和編解碼后權重格式定義；

封裝表示模塊，將安全信息和身份認證信息和神經網絡一起封裝，由此將神經網絡轉換為模型。

優選地，所述技術方案中，所述可互操作表示模塊中的對神經網絡的語法定義、支持的運算操作定義和權重格式定義分別包括：