[發(fā)明專利]一種基于MSVL的BP神經(jīng)網(wǎng)絡(luò)的構(gòu)建和訓(xùn)練方法及系統(tǒng)

有效

• 申請(qǐng)?zhí)枺?/td>: 202110439442.6
• 申請(qǐng)日: 2021-04-23
• 公開（公告）號(hào): CN113240075B
• 公開（公告）日: 2023-08-22
• 發(fā)明（設(shè)計(jì)）人: 趙亮;馮哲;段振華;王小兵;田聰;張南
• 申請(qǐng)（專利權(quán)）人: 西安電子科技大學(xué)
• 主分類號(hào): G06N3/0499
• 分類號(hào): G06N3/0499;G06N3/08;G06N3/084
• 代理公司: 西安長(zhǎng)和專利代理有限公司 61227
• 代理人: 何畏

1.一種實(shí)施基于MSVL的BP神經(jīng)網(wǎng)絡(luò)的構(gòu)建和訓(xùn)練方法的計(jì)算機(jī)設(shè)備，其特征在于，所述實(shí)施基于MSVL的BP神經(jīng)網(wǎng)絡(luò)的構(gòu)建和訓(xùn)練方法的計(jì)算機(jī)設(shè)備包括存儲(chǔ)器和處理器，所述存儲(chǔ)器存儲(chǔ)有計(jì)算機(jī)程序，所述計(jì)算機(jī)程序被所述處理器執(zhí)行時(shí)，使得所述處理器執(zhí)行如下步驟：

根據(jù)BP神經(jīng)網(wǎng)絡(luò)基本的層次化結(jié)構(gòu)和屬性行為特征，構(gòu)建基于MSVL的BP神經(jīng)網(wǎng)絡(luò)的底層結(jié)構(gòu)方法庫(kù)；根據(jù)用戶的定制需求，利用結(jié)構(gòu)方法庫(kù)中的MSVL結(jié)構(gòu)體，構(gòu)建BP神經(jīng)網(wǎng)絡(luò)的初始架構(gòu)；讀取樣本數(shù)據(jù)，利用結(jié)構(gòu)方法庫(kù)中MSVL方法，對(duì)初始架構(gòu)進(jìn)行訓(xùn)練，得到BP神經(jīng)網(wǎng)絡(luò)的形式化架構(gòu)；

其中，基于MSVL的BP神經(jīng)網(wǎng)絡(luò)的構(gòu)建和訓(xùn)練方法的結(jié)果BP神經(jīng)網(wǎng)絡(luò)框架直接應(yīng)用于神經(jīng)網(wǎng)絡(luò)系統(tǒng)的形式化驗(yàn)證；使用形式化語(yǔ)言MSVL開發(fā)具有多種行為的BP神經(jīng)網(wǎng)絡(luò)架構(gòu)，支持對(duì)多方面的性質(zhì)進(jìn)行驗(yàn)證；

利用形式化語(yǔ)言MSVL進(jìn)行BP神經(jīng)網(wǎng)絡(luò)開發(fā)的方法根據(jù)用戶的定制需求，自動(dòng)化構(gòu)建與訓(xùn)練BP神經(jīng)網(wǎng)絡(luò)的形式化架構(gòu)；架構(gòu)涵蓋矩陣運(yùn)算、反向傳播和權(quán)值更新的多種神經(jīng)網(wǎng)絡(luò)系統(tǒng)的基本行為，直接用于模型檢測(cè)和插樁驗(yàn)證的形式化驗(yàn)證技術(shù)，支持與行為相關(guān)的多方面性質(zhì)驗(yàn)證，保障系統(tǒng)安全可信性；

所述基于MSVL的BP神經(jīng)網(wǎng)絡(luò)底層的結(jié)構(gòu)方法庫(kù)，包括：

(1)神經(jīng)網(wǎng)絡(luò)層次化結(jié)構(gòu)體：

①矩陣結(jié)構(gòu)體；

②BP神經(jīng)網(wǎng)絡(luò)層次結(jié)構(gòu)體；

③數(shù)據(jù)集結(jié)構(gòu)體；

④用戶需求結(jié)構(gòu)體；

⑤優(yōu)化參數(shù)結(jié)構(gòu)體；

(2)神經(jīng)網(wǎng)絡(luò)屬性行為方法：

①基礎(chǔ)運(yùn)算方法；

②權(quán)值初始化方法；

③激活函數(shù)方法；

④損失函數(shù)方法。

2.如權(quán)利要求1所述的實(shí)施基于MSVL的BP神經(jīng)網(wǎng)絡(luò)的構(gòu)建和訓(xùn)練方法的計(jì)算機(jī)設(shè)備，其特征在于，所述層次化的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)包含兩層實(shí)體，所述底層的基礎(chǔ)計(jì)算單元層以及層次結(jié)構(gòu)層和網(wǎng)絡(luò)級(jí)結(jié)構(gòu)層所組成的上層；與結(jié)構(gòu)相對(duì)應(yīng)，所述神經(jīng)網(wǎng)絡(luò)行為還包含兩層實(shí)體，所述底層的基礎(chǔ)操作行為層以及上層的預(yù)測(cè)和訓(xùn)練行為層，構(gòu)成基于MSVL的BP神經(jīng)網(wǎng)絡(luò)底層的結(jié)構(gòu)方法庫(kù)。

3.如權(quán)利要求1所述的實(shí)施基于MSVL的BP神經(jīng)網(wǎng)絡(luò)的構(gòu)建和訓(xùn)練方法的計(jì)算機(jī)設(shè)備，其特征在于，所述用戶可根據(jù)自己的需求構(gòu)建出形式化的BP神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)并進(jìn)行預(yù)測(cè)或者訓(xùn)練，包括：

(1)訓(xùn)練、測(cè)試樣本數(shù)；

(2)樣本特征數(shù)；

(3)BP神經(jīng)網(wǎng)絡(luò)隱藏層數(shù)；

(4)各層神經(jīng)元個(gè)數(shù)；

(5)各層激活函數(shù)；

(6)分類類別數(shù)；

(7)損失函數(shù)；

(8)權(quán)值初始化方式；

(9)訓(xùn)練迭代次數(shù)。

4.如權(quán)利要求1所述的實(shí)施基于MSVL的BP神經(jīng)網(wǎng)絡(luò)的構(gòu)建和訓(xùn)練方法的計(jì)算機(jī)設(shè)備，其特征在于，根據(jù)用戶需求產(chǎn)生BP神經(jīng)網(wǎng)絡(luò)，包括：

(1)構(gòu)建神經(jīng)網(wǎng)絡(luò)的基本架構(gòu)：

①用戶需求讀取；

②數(shù)據(jù)集構(gòu)建；

③神經(jīng)網(wǎng)絡(luò)初始化；

(2)自動(dòng)化地訓(xùn)練神經(jīng)網(wǎng)絡(luò)：

①正向傳播；

②反向傳播；

③權(quán)值更新。

5.如權(quán)利要求1所述的實(shí)施基于MSVL的BP神經(jīng)網(wǎng)絡(luò)的構(gòu)建和訓(xùn)練方法的計(jì)算機(jī)設(shè)備，其特征在于，所述基于MSVL的BP神經(jīng)網(wǎng)絡(luò)的構(gòu)建和訓(xùn)練方法，還包括：BP神經(jīng)網(wǎng)絡(luò)的行為方法中，損失函數(shù)、激活函數(shù)和權(quán)值初始化方式的選擇均采用整型值映射規(guī)則，且對(duì)核心的運(yùn)算方法矩陣乘法經(jīng)過(guò)多輪優(yōu)化包括寄存器優(yōu)化、多級(jí)緩存優(yōu)化以及稀疏優(yōu)化。