[發(fā)明專利]一種卷積神經(jīng)網(wǎng)絡(luò)優(yōu)化方法、裝置和設(shè)備

在審

• 申請?zhí)枺?/td>: 202011133853.4
• 申請日: 2020-10-21
• 公開（公告）號: CN112085174A
• 公開（公告）日: 2020-12-15
• 發(fā)明（設(shè)計(jì)）人: 馬藝菲;韓一石
• 申請（專利權(quán)）人: 廣東工業(yè)大學(xué)
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06N3/08
• 代理公司: 北京集佳知識產(chǎn)權(quán)代理有限公司 11227
• 代理人: 楊小紅

1.一種卷積神經(jīng)網(wǎng)絡(luò)優(yōu)化方法，其特征在于，包括：

輸入訓(xùn)練樣本至構(gòu)建好的卷積神經(jīng)網(wǎng)絡(luò)模型；

基于遺傳算法對卷積神經(jīng)網(wǎng)絡(luò)模型中的卷積層和全連接層的權(quán)重進(jìn)行初始化，得到優(yōu)化后的初始權(quán)重；

基于所述優(yōu)化后的初始權(quán)重和所述訓(xùn)練樣本，通過模擬退火算法對卷積神經(jīng)網(wǎng)絡(luò)模型中的參數(shù)進(jìn)行優(yōu)化訓(xùn)練，得到優(yōu)化后的卷積神經(jīng)網(wǎng)絡(luò)模型。

2.根據(jù)權(quán)利要求1所述的卷積神經(jīng)網(wǎng)絡(luò)優(yōu)化方法，其特征在于，所述基于遺傳算法對卷積神經(jīng)網(wǎng)絡(luò)模型中的卷積層和全連接層的權(quán)重進(jìn)行初始化，得到優(yōu)化后的初始權(quán)重，包括：

將所述卷積神經(jīng)網(wǎng)絡(luò)模型中的卷積層和全連接層的各個權(quán)重作為個體，得到種群，并對所述種群進(jìn)行初始化，得到初始種群；

通過適應(yīng)度函數(shù)計(jì)算所述初始種群中個體的適應(yīng)度值；

當(dāng)所述適應(yīng)度值滿足預(yù)置條件或迭代次數(shù)達(dá)到預(yù)置次數(shù)時(shí)，輸出適應(yīng)度值最高的個體，得到優(yōu)化后的初始權(quán)重；

當(dāng)所述適應(yīng)度值不滿足所述預(yù)置條件或所述迭代次數(shù)未達(dá)到所述預(yù)置次數(shù)時(shí)，對所述初始種群中的個體進(jìn)行選擇、交叉和變異操作得到新種群，將所述新種群作為所述初始種群，并返回所述通過適應(yīng)度函數(shù)計(jì)算所述初始種群中個體的適應(yīng)度值的步驟。

3.根據(jù)權(quán)利要求1所述的卷積神經(jīng)網(wǎng)絡(luò)優(yōu)化方法，其特征在于，所述基于所述優(yōu)化后的初始權(quán)重和所述訓(xùn)練樣本，通過模擬退火算法對卷積神經(jīng)網(wǎng)絡(luò)模型中的參數(shù)進(jìn)行優(yōu)化訓(xùn)練，得到優(yōu)化后的卷積神經(jīng)網(wǎng)絡(luò)模型，包括：

S1、配置初始溫度、溫度衰減參數(shù)和溫度閾值；

S2、在初始溫度下，將所述優(yōu)化后的初始權(quán)重中的最后一層全連接層的權(quán)重配置為當(dāng)前解向量；

S3、在所述當(dāng)前解向量的基礎(chǔ)上擾動產(chǎn)生新解向量；

S4、基于所述當(dāng)前解向量和所述訓(xùn)練樣本，通過損失函數(shù)計(jì)算第一損失值，基于所述新解向量和所述訓(xùn)練樣本，通過所述損失函數(shù)計(jì)算第二損失值；

S5、判斷所述第二損失值是否小于或等于所述第一損失值時(shí)，若是，則將所述新解向量作為所述當(dāng)前解向量，并返回步驟S3，若否，則以預(yù)置概率接受所述新解向量作為所述當(dāng)前解向量，并返回所述步驟S3；

S6、基于所述溫度衰減參數(shù)對當(dāng)前溫度進(jìn)行衰減，并返回所述步驟S3，直至所述當(dāng)前溫度達(dá)到所述溫度閾值，輸出當(dāng)前解向量，得到優(yōu)化后的卷積神經(jīng)網(wǎng)絡(luò)模型。

4.根據(jù)權(quán)利要求3所述的卷積神經(jīng)網(wǎng)絡(luò)優(yōu)化方法，其特征在于，所述損失函數(shù)為：

其中，n為訓(xùn)練樣本數(shù)，y為期望輸出，a＝max(0,w^Tx+b)為實(shí)際輸出，[w,b]為解向量，x為訓(xùn)練樣本。

5.根據(jù)權(quán)利要求3所述的卷積神經(jīng)網(wǎng)絡(luò)優(yōu)化方法，其特征在于，所述在所述當(dāng)前解向量的基礎(chǔ)上擾動產(chǎn)生新解向量，包括：

在所述當(dāng)前解向量W的基礎(chǔ)上添加隨機(jī)值ΔW，得到新解向量W′，其中，W′＝W+ΔW。

6.根據(jù)權(quán)利要求3所述的卷積神經(jīng)網(wǎng)絡(luò)優(yōu)化方法，其特征在于，所述預(yù)置概率為：

其中，Δf為第二損失值減去第一損失值的差值，k為玻爾茲曼常數(shù)，T為當(dāng)前溫度。

7.一種卷積神經(jīng)網(wǎng)絡(luò)優(yōu)化裝置，其特征在于，包括：

輸入單元，用于輸入訓(xùn)練樣本至構(gòu)建好的卷積神經(jīng)網(wǎng)絡(luò)模型；

初始化單元，用于基于遺傳算法對卷積神經(jīng)網(wǎng)絡(luò)模型中的卷積層和全連接層的權(quán)重進(jìn)行初始化，得到優(yōu)化后的初始權(quán)重；

優(yōu)化單元，用于基于所述優(yōu)化后的初始權(quán)重和所述訓(xùn)練樣本，通過模擬退火算法對卷積神經(jīng)網(wǎng)絡(luò)模型中的參數(shù)進(jìn)行優(yōu)化訓(xùn)練，得到優(yōu)化后的卷積神經(jīng)網(wǎng)絡(luò)模型。