[發明專利]一種計算機中采用剪枝方法改進的神經網絡

在審

• 申請號: 201710083101.3
• 申請日: 2017-02-16
• 公開（公告）號: CN106779075A
• 公開（公告）日: 2017-05-31
• 發明（設計）人: 黃書劍;竇子軼;戴新宇;陳家駿;張建兵
• 申請（專利權）人: 南京大學
• 主分類號: G06N3/08
• 分類號: G06N3/08
• 代理公司: 江蘇圣典律師事務所32237
• 代理人: 胡建華,于瀚文

1.一種計算機中采用剪枝方法改進的神經網絡，其特征在于，包括如下步驟：

步驟1，輸入已訓練的神經網絡的網絡結構和參數，構造項集集合；

步驟2，利用項集集合對神經網絡進行剪枝，刪去結點與結點之間冗余的連接；

步驟3，對于剪枝后的神經網絡重新訓練，得到輸出神經網絡的參數。

2.根據權利要求1所述的方法，其特征在于，步驟1中所述神經網絡包括至少兩層的兩個以上結點，所述層的第一層是輸入層，最后一層是輸出層，輸出層的結點形成用于提供輸出數據的輸出信道，所述輸出數據是處理輸入數據的結果，在輸入層的結點和輸出層的結點之間提供連接，輸出層的各結點將從輸入層接收的輸入數據變換成輸出數據。

3.根據權利要求2所述的方法，其特征在于，步驟1包括如下步驟：

步驟1-1，輸入已訓練好的神經網絡的網絡結構及其參數，參數包括剪枝的閾值、訓練的樣本集合、神經網絡的層數、層與層之間結點的連接情況、結點與結點的連接權重，以及各層的數據變換函數，層與層之間結點的連接情況用0-1矩陣表示；

步驟1-2，利用神經網絡的網絡結構及其參數構造出項集集合。

4.根據權利要求3所述的方法，其特征在于，步驟1-2包括如下步驟：

步驟1-2-1，計算神經網絡中每一層的情況，對于每層的輸出結點，取出與其相連的輸入結點作為一組，其中每個輸入結點從數字1開始賦予數字，作為輸入結點的關鍵字，將關鍵字集合加入項集集合中；

步驟1-2-2，計算項集集合中的每一個項集的每一項，若是其與輸出結點的連接權重小于用戶輸入的閾值，則刪除這一項。

5.根據權利要求4所述的方法，其特征在于，步驟2包括如下步驟：

步驟2-1，對步驟1得到的項集集合利用改進的Apriori算法進行重要項集挖掘，得到重要項集集合；

步驟2-2，通過重要項集集合構造出剪枝后的神經網絡，得到輸出神經網絡的結構。

6.根據權利要求5所述的方法，其特征在于，步驟2-1包括：

步驟2-1-1，對項集S的重要性Importance(S)定義進行如下定義：

Importance(S)＝Support(S)+λ×e^length(S)/n，

其中，Support(S)表示項集S的支持度，length(S)表示項集S的長度，即項集S的元素個數，n表示該層神經網絡結點的總個數，λ為輸入的超參數，當給定項集集合T后，項集S的支持度Support(S)定義如下：

$Support\left(S\right)=\frac{\left|\right\{t\∈T;X\⊆t\left\}\right|}{\left|T\right|},$

其中T為項集集合，t為項集集合T中項集，X為項集t中子集，根據上述定義計算步驟1中得到的項集集合中各個項集的重要性；

步驟2-1-2，在步驟1得到的項集上利用貪心算法進行探索，從步驟1中的項集出發，依次探查項集長度比各個項集少一的各個項集的子集，若是其重要性大于原項集，則用該項集替代原項集，直到所有項集長度少一的項集子集的重要性都大于或者等于原項集為止，依次查找得到重要項集集合。