[發明專利]一種神經網絡模型激活函數的優化方法

在審

• 申請號: 202110325856.6
• 申請日: 2021-03-26
• 公開（公告）號: CN113011565A
• 公開（公告）日: 2021-06-22
• 發明（設計）人: 邢園園;肖偌舟
• 申請（專利權）人: 青島本原微電子有限公司
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06N3/08
• 代理公司: 青島聯智專利商標事務所有限公司 37101
• 代理人: 王笑

1.一種神經網絡模型激活函數的優化方法，其特征在于，包括如下步驟：

解析神經網絡模型的網絡結構，得到各節點的類型及參數；

遍歷神經網絡模型的每個節點，確定節點的連接關系；

根據各節點的類型確定類型是激活函數的節點；

將類型是激活函數且相連的節點劃分為待優化節點；

基于節點的參數，將待優化節點優化為一個激活函數節點。

2.根據權利要求1所述的神經網絡模型激活函數的優化方法，其特征在于，基于節點的參數，將待優化節點優化為一個激活函數節點，具體包括：

1)按序將相鄰的兩個待優化節點按照以下方式優化為一個新的激活函數節點：

其中，k1為排序在前的節點參數，k2為排序在后的節點參數；

2)若待優化節點數大于2，則轉入步驟3)，否則轉入步驟4)；

3)將優化得到的激活函數節點再與下一個相連的待優化節點按照1)的方式優化，直至最后一個待優化節點被優化；

4)優化結束。

3.根據權利要求2所述的神經網絡模型激活函數的優化方法，其特征在于，所述方法還包括：

當待優化的兩個節點的的激活函數類型相同時，優化之后的激活函數保持原有類型；當待優化的兩個節點的激活函數類型不相同時，優化之后的激活函數類型為PReLU。