[發明專利]網絡連接自適應深度卷積模型的構建方法

在審

• 申請號: 201711268262.6
• 申請日: 2017-12-05
• 公開（公告）號: CN108171319A
• 公開（公告）日: 2018-06-15
• 發明（設計）人: 田青;張文強;孔勇;張玉飛
• 申請（專利權）人: 南京信息工程大學
• 主分類號: G06N3/04
• 分類號: G06N3/04
• 代理公司: 江蘇愛信律師事務所 32241
• 代理人: 趙贊贊

1.一種網絡連接自適應深度卷積模型的構建方法，其特征在于，包括如下步驟：

步驟一：對卷積神經網絡中的權重向量進行正交化，具體的計算公式如下式(1)、(2)所示：

wⁱ＝vⁱ (1)

式中，vⁱ、v^j分別為同一層神經網絡的第i個權重向量、第j個權重向量，wⁱ是vⁱ與v^j正交化之后對應的權重向量，w^j是v^j與vⁱ正交化之后對應的權重向量；

步驟二：根據范數進行卷積神經網絡中層與層之間連接的刪除，具體的計算公式如下式(3)所示：

式中，wⁱ和w^j是同屬于一層神經網絡的第i個權值向量和第j個權值向量，是第i個權值向量的p范數值，每次權值向量更新之后，即將該權值向量的p范數值與該層的其它任意權值向量w^j的p范數值相加，若它們相加的和為0，則將wⁱ權值向量變為零向量；

步驟三：構建激活函數，所述激活函數如下式(4)所示：

f(x)＝sigmoid(x)+λ (4)

式中，λ的計算步驟如下：首先給λ設定一個任意大小的數值λ₀，計算損失函數的值y₁；然后對λ增加一個變化量ε，繼續計算損失函數的值y₂，若y₂大于y₁，則持續增加λ的值，并計算損失函數的值，直至當前損失函數的值小于前一次損失函數的值，則停止迭代，此時λ值為局部最優值；若y₂小于y₁，則持續減小λ的值，并計算損失函數的值，直至當前損失函數的值小于前一次計算得到的損失函數的值，則停止迭代，此時λ值為局部最優值；將作為局部最優值的λ值代入式(4)進行計算。