[發(fā)明專利]復(fù)值前向神經(jīng)網(wǎng)絡(luò)的二階混合構(gòu)建方法及系統(tǒng)

在審

• 申請?zhí)枺?/td>: 202010820498.1
• 申請日: 2020-08-14
• 公開（公告）號: CN111950711A
• 公開（公告）日: 2020-11-17
• 發(fā)明（設(shè)計）人: 黃鶴;張書芳
• 申請（專利權(quán)）人: 蘇州大學(xué)
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06N3/08
• 代理公司: 蘇州市中南偉業(yè)知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 32257
• 代理人: 張榮

1.一種復(fù)值前向神經(jīng)網(wǎng)絡(luò)的二階混合構(gòu)建方法，其特征在于，包括如下步驟：

步驟S1：根據(jù)給定的任務(wù)對復(fù)值神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)與參數(shù)進(jìn)行初始化；

步驟S2：利用復(fù)值二階混合優(yōu)化算法調(diào)整所述復(fù)值神經(jīng)網(wǎng)絡(luò)的參數(shù)，判斷是否滿足構(gòu)建終止條件，若不滿足，進(jìn)入步驟S3，若滿足，則進(jìn)入步驟S4；

步驟S3：驗(yàn)證所述復(fù)值神經(jīng)網(wǎng)絡(luò)的泛化性能，保存當(dāng)前隱層神經(jīng)元的個數(shù)以及所述復(fù)值神經(jīng)網(wǎng)絡(luò)的所有參數(shù)值，判斷是否滿足所述隱層神經(jīng)元的添加標(biāo)準(zhǔn)，若滿足，利用復(fù)值增量構(gòu)建機(jī)制，向當(dāng)前模型添加一個隱層神經(jīng)元，在當(dāng)前訓(xùn)練的基礎(chǔ)上計算新的隱層輸出矩陣和誤差函數(shù)，返回步驟S2；若不滿足，直接返回步驟S2；

步驟S4：利用所述復(fù)值二階混合優(yōu)化算法進(jìn)一步微調(diào)所述參數(shù)，得到最優(yōu)的復(fù)值神經(jīng)網(wǎng)絡(luò)模型。

2.根據(jù)權(quán)利要求1所述的復(fù)值前向神經(jīng)網(wǎng)絡(luò)的二階混合構(gòu)建方法，其特征在于：所述復(fù)值神經(jīng)網(wǎng)絡(luò)是初始的三層復(fù)值前向神經(jīng)網(wǎng)絡(luò)模型。

3.根據(jù)權(quán)利要求1所述的復(fù)值前向神經(jīng)網(wǎng)絡(luò)的二階混合構(gòu)建方法，其特征在于：利用復(fù)值二階混合優(yōu)化算法調(diào)整所述復(fù)值神經(jīng)網(wǎng)絡(luò)中的參數(shù)的方法為：利用復(fù)值二階混合優(yōu)化算法在訓(xùn)練集上對所述復(fù)值神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練。

4.根據(jù)權(quán)利要求3所述的復(fù)值前向神經(jīng)網(wǎng)絡(luò)的二階混合構(gòu)建方法，其特征在于：對所述復(fù)值神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練時，先計算隱層輸出矩陣和模型的實(shí)際輸出，運(yùn)用復(fù)值最小二乘算法計算得到輸出層與隱層神經(jīng)元之間的權(quán)值調(diào)整量；再經(jīng)計算得到稀疏矩陣，計算當(dāng)前的代價函數(shù)值，并對其進(jìn)行更新，利用復(fù)值LM算法得到輸入層與隱層神經(jīng)元之間權(quán)值的修正量，并對其進(jìn)行更新。

5.根據(jù)權(quán)利要求1或3所述的復(fù)值前向神經(jīng)網(wǎng)絡(luò)的二階混合構(gòu)建方法，其特征在于：所述復(fù)值二階混合優(yōu)化算法包括復(fù)值LM算法與復(fù)值最小二乘算法。

6.根據(jù)權(quán)利要求1所述的復(fù)值前向神經(jīng)網(wǎng)絡(luò)的二階混合構(gòu)建方法，其特征在于：判斷是否滿足構(gòu)建終止條件的方法為：判斷代價函數(shù)是否小于設(shè)定的誤差閾值或者是否達(dá)到最大迭代次數(shù)。

7.根據(jù)權(quán)利要求6所述的復(fù)值前向神經(jīng)網(wǎng)絡(luò)的二階混合構(gòu)建方法，其特征在于：所述代價函數(shù)是復(fù)變量均方誤差函數(shù)。

8.根據(jù)權(quán)利要求1所述的復(fù)值前向神經(jīng)網(wǎng)絡(luò)的二階混合構(gòu)建方法，其特征在于：判斷是否滿足所述隱層神經(jīng)元的添加標(biāo)準(zhǔn)的方法為：根據(jù)代價函數(shù)在當(dāng)前迭代與延遲迭代時的變化關(guān)系，判斷復(fù)值神經(jīng)網(wǎng)絡(luò)是否滿足隱層神經(jīng)元添加標(biāo)準(zhǔn)。

9.根據(jù)權(quán)利要求1所述的復(fù)值前向神經(jīng)網(wǎng)絡(luò)的二階混合構(gòu)建方法，其特征在于：利用所述復(fù)值二階混合優(yōu)化算法進(jìn)一步微調(diào)所述參數(shù)時，將經(jīng)訓(xùn)練得到的復(fù)值網(wǎng)絡(luò)模型的參數(shù)作為初始值，使用復(fù)值二階混合優(yōu)化算法對其進(jìn)行微調(diào)，獲得最終的最優(yōu)復(fù)值神經(jīng)網(wǎng)絡(luò)模型，并測試其性能。

10.一種復(fù)值前向神經(jīng)網(wǎng)絡(luò)的二階混合構(gòu)建系統(tǒng)，其特征在于，包括：

初始化模塊，用于根據(jù)給定的任務(wù)對復(fù)值神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)與參數(shù)進(jìn)行初始化；

訓(xùn)練模塊，用于利用復(fù)值二階混合優(yōu)化算法調(diào)整所述復(fù)值神經(jīng)網(wǎng)絡(luò)中的參數(shù)，判斷是否滿足構(gòu)建終止條件，若不滿足，進(jìn)入驗(yàn)證更新模塊，若滿足，則進(jìn)入微調(diào)模塊；

驗(yàn)證更新模塊，用于驗(yàn)證所述復(fù)值神經(jīng)網(wǎng)絡(luò)的泛化性能，保存當(dāng)前隱層神經(jīng)元的個數(shù)以及所述復(fù)值神經(jīng)網(wǎng)絡(luò)的所有參數(shù)值，判斷是否滿足所述隱層神經(jīng)元的添加標(biāo)準(zhǔn)，若滿足，利用復(fù)值增量構(gòu)建機(jī)制，向當(dāng)前模型添加一個隱層神經(jīng)元，在當(dāng)前訓(xùn)練的基礎(chǔ)上計算新的隱層輸出矩陣和誤差函數(shù)，返回至所述訓(xùn)練模塊；若不滿足，直接返回至所述訓(xùn)練模塊；

微調(diào)模塊，用于利用所述復(fù)值二階混合優(yōu)化算法進(jìn)一步微調(diào)所述參數(shù)，得到最優(yōu)的復(fù)值神經(jīng)網(wǎng)絡(luò)模型。