[發(fā)明專利]一種基于粒子群算法的深度卷積神經(jīng)網(wǎng)絡(luò)架構(gòu)搜索方法

有效

• 申請?zhí)枺?/td>: 202011281112.0
• 申請日: 2020-11-16
• 公開（公告）號: CN112381226B
• 公開（公告）日: 2022-07-19
• 發(fā)明（設(shè)計）人: 張超超;劉小波;楊健峰;周志浪
• 申請（專利權(quán)）人: 中國地質(zhì)大學(xué)（武漢）
• 主分類號: G06N3/08
• 分類號: G06N3/08;G06K9/62;G06N3/00;G06N3/04
• 代理公司: 武漢知產(chǎn)時代知識產(chǎn)權(quán)代理有限公司 42238
• 代理人: 王佩

1.一種基于粒子群算法的深度卷積神經(jīng)網(wǎng)絡(luò)架構(gòu)搜索方法，其特征在于：具體包括以下步驟：

S101：構(gòu)建基于結(jié)構(gòu)塊的卷積神經(jīng)網(wǎng)絡(luò)架構(gòu)；

S102：構(gòu)建形狀為(2,8,2)的三維數(shù)組，將所述卷積神經(jīng)網(wǎng)絡(luò)架構(gòu)編碼為粒子；

數(shù)組第一維代表卷積神經(jīng)網(wǎng)絡(luò)架構(gòu)兩種類型的塊，分別為正常塊和降維塊；

數(shù)組的第二維表示每個塊中的4個中間節(jié)點的8個元素；

數(shù)組的第三維由運算類型在OP中所對應(yīng)的索引和運算的節(jié)點組成；

S103：根據(jù)粒子在圖像驗證集上的分類精度計算粒子的適應(yīng)值，得到粒子個體歷史最優(yōu)解pBest和粒子種群歷史最優(yōu)解gBest；

S104：根據(jù)粒子個體歷史最優(yōu)解pBest和粒子種群歷史最優(yōu)解gBest，更新粒子群，并判斷是否達到終止條件，若是，則得到最優(yōu)的卷積神經(jīng)網(wǎng)絡(luò)架構(gòu)，否則跳轉(zhuǎn)至步驟S103。

2.如權(quán)利要求1所述的基于粒子群算法的深度卷積神經(jīng)網(wǎng)絡(luò)架構(gòu)搜索方法，其特征在于：所述基于結(jié)構(gòu)塊的卷積神經(jīng)網(wǎng)絡(luò)架構(gòu)，由三個塊組成，包括兩個正常塊和一個降維塊。

3.如權(quán)利要求2所述的基于粒子群算法的深度卷積神經(jīng)網(wǎng)絡(luò)架構(gòu)搜索方法，其特征在于：每個塊由兩個輸入節(jié)點、四個中間節(jié)點、一個輸出節(jié)點的有序序列組成。

4.如權(quán)利要求3所述的基于粒子群算法的深度卷積神經(jīng)網(wǎng)絡(luò)架構(gòu)搜索方法，其特征在于：

所述兩個輸入節(jié)點的輸入分別為當前塊的前一個塊、前二個塊輸出節(jié)點的輸出；

每個中間節(jié)點的輸出由該中間節(jié)點之前的任意兩個節(jié)點經(jīng)過運算之和的輸出；

所述輸出節(jié)點的輸出為四個中間節(jié)點的級聯(lián)輸出。

5.如權(quán)利要求4所述的基于粒子群算法的深度卷積神經(jīng)網(wǎng)絡(luò)架構(gòu)搜索方法，其特征在于：

步驟S102中，所述形狀為(2,8,2)的三維數(shù)組，具體含義為：

三維數(shù)組的第一維，表示2種塊，分別為正常塊和降維塊；

三維數(shù)組的第二維，表示每個塊中，四個中間節(jié)點對應(yīng)的8個元素，每個元素在數(shù)組中具有索引；

每個所述元素，由對應(yīng)中間節(jié)點輸出過程中運算節(jié)點和運算節(jié)點之間的運算類型共同構(gòu)成；所述運算類型存放于運算操作OP列表中；

三維數(shù)組的第三維，表示運算類型在OP列表中的索引和對應(yīng)的運算節(jié)點。

6.如權(quán)利要求5所述的基于粒子群算法的深度卷積神經(jīng)網(wǎng)絡(luò)架構(gòu)搜索方法，其特征在于：步驟S104更新粒子群時，策略為基于粒子中的元素更新，其具體為：

將粒子的更新轉(zhuǎn)化為對粒子中的元素進行逐個更新；

逐個求解兩個粒子的元素E1與E2之差E1-E2；

逐個求待更新元素的速度；

粒子中所有元素基于元素之差和給定元素速度逐個完成更新，最終達到粒子更新。

7.如權(quán)利要求6所述的基于粒子群算法的深度卷積神經(jīng)網(wǎng)絡(luò)架構(gòu)搜索方法，其特征在于：所述兩個粒子的元素E1與E2之差，具體為，如果元素E1、E2相同，則元素之差為None，表示兩個元素沒有差異，否則元素之差為E1。

8.如權(quán)利要求7所述的基于粒子群算法的深度卷積神經(jīng)網(wǎng)絡(luò)架構(gòu)搜索方法，其特征在于：所述給定元素速度，其計算過程具體為：

根據(jù)[0,1)之間的隨機數(shù)r與預(yù)設(shè)的常數(shù)因子cg之間的大小關(guān)系，從給定元素P_E與粒子個體歷史最優(yōu)解pBest和粒子種群歷史最優(yōu)解gBest相同索引的的元素之差gBest_E-P_E和pBest_E-P_E中選擇；

若[0,1)之間的隨機數(shù)r小于等于預(yù)設(shè)的常數(shù)因子cg，則給定元素P_E的速度為gBest_E-P_E；否則，元素P的速度為pBest_E-P_E。

9.如權(quán)利要求8所述的基于粒子群算法的深度卷積神經(jīng)網(wǎng)絡(luò)架構(gòu)搜索方法，其特征在于：粒子中所有元素基于元素之差和給定元素速度逐個完成更新，最終達到粒子更新，具體過程為：

S201：對于任一粒子P，逐個求解P與粒子個體歷史最優(yōu)解pBest和粒子種群歷史最優(yōu)解gBest相同索引的元素之差，分別為gBest_E-P_E和pBest_E-P_E；

S202：根據(jù)[0,1)之間的隨機數(shù)r與預(yù)設(shè)的常數(shù)因子cg之間的大小關(guān)系，得到待更新元素P_E的速度；

若[0,1)之間的隨機數(shù)r小于等于預(yù)設(shè)的常數(shù)因子cg，則給定元素P_E的速度為gBest_E-P_E；否則，為pBest_E-P_E；

S203：根據(jù)待更新元素P_E的速度，對元素P_E進行更新，如果其速度為None，則元素P_E保持不變，否則用其速度將其替換。