[發明專利]一種神經網絡模型激活函數的優化方法

在審

• 申請號: 202110325856.6
• 申請日: 2021-03-26
• 公開（公告）號: CN113011565A
• 公開（公告）日: 2021-06-22
• 發明（設計）人: 邢園園;肖偌舟
• 申請（專利權）人: 青島本原微電子有限公司
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06N3/08
• 代理公司: 青島聯智專利商標事務所有限公司 37101
• 代理人: 王笑

本發明公開了一種神經網絡模型激活函數的優化方法，首先解析神經網絡模型的網絡結構得到各節點的類型及參數，進而遍歷神經網絡模型的每個節點，確定節點的連接關系，并根據各個節點的類型確定類型是激活函數的節點，最后將類型為激活函數且相連的至少兩個節點劃分為待優化節點，將待優化節點優化成為一個激活函數節點，在保證神經網絡模型質量、不產生新計算核的前提下，減少了神經網絡節點的數量，優化了網絡結構，從而提高了神經網絡的計算性能和推理性能，并提升了計算速度。

技術領域

本發明屬于計算機技術領域，具體地說，是涉及一種神經網絡模型激活函數的優化方法。

背景技術

隨著人工智能和深度學習的發展，神經網絡模型也逐漸出現各種各樣的結構，復雜性也不斷增加；不斷增加的計算要求與硬件計算性能之間的矛盾也越來越明顯。

因此，如何在保證神經網絡模型質量的前提下，降低推理過程中計算量及對硬件計算性能的依賴，提高推理速度和網絡性能，成為神經網絡模型優化的關鍵。

發明內容

本發明的目的在于提供一種神經網絡模型激活函數的優化方法，以減少神經網絡的計算量，提升計算速度。

本發明采用以下技術方案予以實現：

提出一種神經網絡模型激活函數的優化方法，包括如下步驟：解析神經網絡模型的網絡結構，得到各節點的類型及參數；遍歷神經網絡模型的每個節點，確定節點的連接關系；根據各節點的類型確定類型是激活函數的節點；將類型是激活函數且相連的節點劃分為待優化節點；基于節點的參數，將待優化節點優化為一個激活函數節點。

進一步的，基于節點的參數，將待優化節點優化為一個激活函數節點，具體包括：1)按序將相鄰的兩個待優化節點按照以下方式優化為一個新的激活函數節點：

其中，k1為排序在前的節點參數，k2為排序在后的節點參數；2)若待優化節點數大于2，則轉入步驟3)，否則轉入步驟4)3)將優化得到的激活函數節點再與下一個相連的待優化節點按照1)的方式優化，直至最后一個待優化節點被優化；4)優化結束。

進一步的，所述方法還包括：當待優化的兩個節點的的激活函數類型相同時，優化之后的激活函數保持原有類型；當待優化的兩個節點的激活函數類型不相同時，優化之后的激活函數類型為PReLU。

與現有技術相比，本發明的優點和積極效果是：本發明提出的神經網絡模型激活函數的優化方法中，首先解析神經網絡模型的網絡結構得到各節點的類型及參數，進而遍歷神經網絡模型的每個節點，確定節點的連接關系，并根據各個節點的類型確定類型是激活函數的節點，最后將類型為激活函數且相連的至少兩個節點劃分為待優化節點，將待優化節點優化成為一個激活函數節點，在保證神經網絡模型質量、不產生新計算核的前提下，減少了神經網絡節點的數量，優化了網絡結構，從而提高了神經網絡的計算性能和推理性能，并提升了計算速度。

結合附圖閱讀本發明實施方式的詳細描述后，本發明的其他特點和優點將變得更加清楚。

附圖說明

圖1為本發明提出的神經網絡模型激活函數的優化方法的流程圖；

圖2為本發明提出的神經網絡模型激活函數的優化方法的具體實施流程圖；

圖3為本發明提出的神經網絡模型激活函數優化示意圖之一；

圖4為本發明提出的神經網絡模型激活函數優化示意圖之二。

具體實施方式

下面結合附圖對本發明的具體實施方式作進一步詳細的說明。

如圖1所示，本發明提出的神經網絡模型激活函數的優化方法，包括如下步驟：

步驟S11：解析神經網絡模型的網絡結構，得到各節點的類型及參數。