[發(fā)明專利]復(fù)值前向神經(jīng)網(wǎng)絡(luò)的二階混合構(gòu)建方法及系統(tǒng)

在審

• 申請(qǐng)?zhí)枺?/td>: 202010820498.1
• 申請(qǐng)日: 2020-08-14
• 公開（公告）號(hào): CN111950711A
• 公開（公告）日: 2020-11-17
• 發(fā)明（設(shè)計(jì)）人: 黃鶴;張書芳
• 申請(qǐng)（專利權(quán)）人: 蘇州大學(xué)
• 主分類號(hào): G06N3/04
• 分類號(hào): G06N3/04;G06N3/08
• 代理公司: 蘇州市中南偉業(yè)知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 32257
• 代理人: 張榮

本發(fā)明涉及一種復(fù)值前向神經(jīng)網(wǎng)絡(luò)的二階混合構(gòu)建方法及系統(tǒng),包括：根據(jù)給定的任務(wù)對(duì)復(fù)值神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)與參數(shù)進(jìn)行初始化；利用復(fù)值二階混合優(yōu)化算法調(diào)整所述復(fù)值神經(jīng)網(wǎng)絡(luò)中的參數(shù)，判斷是否滿足構(gòu)建終止條件；驗(yàn)證所述復(fù)值神經(jīng)網(wǎng)絡(luò)的泛化性能，保存當(dāng)前隱層神經(jīng)元的個(gè)數(shù)以及所述復(fù)值神經(jīng)網(wǎng)絡(luò)的所有參數(shù)值，判斷是否滿足所述隱層神經(jīng)元的添加標(biāo)準(zhǔn)，若滿足，利用復(fù)值增量構(gòu)建機(jī)制，向當(dāng)前模型添加一個(gè)隱層神經(jīng)元，在當(dāng)前訓(xùn)練的基礎(chǔ)上計(jì)算新的隱層輸出矩陣和誤差函數(shù)，返回至上一步；若不滿足，直接返回至上一步；利用所述復(fù)值二階混合優(yōu)化算法進(jìn)一步微調(diào)所述參數(shù)，得到最優(yōu)的復(fù)值神經(jīng)網(wǎng)絡(luò)模型。本發(fā)明有利于自動(dòng)構(gòu)建結(jié)構(gòu)合理的復(fù)值神經(jīng)網(wǎng)絡(luò)模型。

技術(shù)領(lǐng)域

本發(fā)明涉及人工智能與模式識(shí)別的技術(shù)領(lǐng)域，尤其是指一種復(fù)值前向神經(jīng)網(wǎng)絡(luò)的二階混合構(gòu)建方法及系統(tǒng)。

背景技術(shù)

人工神經(jīng)網(wǎng)絡(luò)具有強(qiáng)大的自學(xué)習(xí)、自組織、自適應(yīng)及非線性函數(shù)逼近能力，能夠從看似雜亂無章的海量數(shù)據(jù)中學(xué)習(xí)規(guī)則與知識(shí)。近年來，實(shí)值神經(jīng)網(wǎng)絡(luò)的研究已經(jīng)取得了十分豐碩的成果。然而，在一些工程領(lǐng)域中，往往需要對(duì)復(fù)信號(hào)進(jìn)行分析與處理。復(fù)值神經(jīng)網(wǎng)絡(luò)憑借其強(qiáng)大的計(jì)算能力與良好的泛化性能,已經(jīng)受到了越來越多的關(guān)注，并在各種工業(yè)領(lǐng)域中得到了廣泛的應(yīng)用,如雷達(dá)信號(hào)處理、醫(yī)學(xué)圖像處理、信道狀態(tài)預(yù)測、模式識(shí)別等。

復(fù)值神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)主要包括兩個(gè)方面:搜索最優(yōu)參數(shù)和確定最優(yōu)網(wǎng)絡(luò)結(jié)構(gòu)。前向神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法的研究一直是一個(gè)非常熱門的研究課題，只有設(shè)計(jì)了合適的學(xué)習(xí)算法才能使神經(jīng)網(wǎng)絡(luò)既高效又準(zhǔn)確地解決實(shí)際問題。研究發(fā)現(xiàn)，復(fù)值神經(jīng)網(wǎng)絡(luò)有著與實(shí)值神經(jīng)網(wǎng)絡(luò)相似的結(jié)構(gòu)，其學(xué)習(xí)算法也大都是從實(shí)數(shù)域中推廣而來的。比如，最常見的學(xué)習(xí)算法便是復(fù)值梯度下降算法。然而，一階復(fù)值優(yōu)化算法存在收斂速度慢、易陷入局部極小值等缺點(diǎn)。

復(fù)值神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)對(duì)其性能有著顯著影響。因此，在復(fù)值神經(jīng)網(wǎng)絡(luò)的構(gòu)建過程中，不僅要考慮參數(shù)優(yōu)化算法的選擇，如何設(shè)計(jì)和優(yōu)化模型結(jié)構(gòu)也是至關(guān)重要的。一個(gè)理想的復(fù)值神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)算法應(yīng)該同時(shí)具備搜索最優(yōu)參數(shù)和確定最優(yōu)網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)的能力。

發(fā)明內(nèi)容

為此，本發(fā)明所要解決的技術(shù)問題在于如何提供一種結(jié)構(gòu)合理、泛化性能強(qiáng)的復(fù)值前向神經(jīng)網(wǎng)絡(luò)的二階混合構(gòu)建方法及系統(tǒng)。

為解決上述技術(shù)問題，本發(fā)明的一種復(fù)值前向神經(jīng)網(wǎng)絡(luò)的二階混合構(gòu)建方法，包括如下步驟：步驟S1：根據(jù)給定的任務(wù)對(duì)復(fù)值神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)與參數(shù)進(jìn)行初始化；步驟S2：利用復(fù)值二階混合優(yōu)化算法調(diào)整所述復(fù)值神經(jīng)網(wǎng)絡(luò)中的參數(shù)，判斷是否滿足構(gòu)建終止條件，若不滿足，進(jìn)入步驟S3，若滿足，則進(jìn)入步驟S4；步驟S3：驗(yàn)證所述復(fù)值神經(jīng)網(wǎng)絡(luò)的泛化性能，保存當(dāng)前隱層神經(jīng)元的個(gè)數(shù)以及所述復(fù)值神經(jīng)網(wǎng)絡(luò)的所有參數(shù)值，判斷是否滿足所述隱層神經(jīng)元的添加標(biāo)準(zhǔn)，若滿足，利用復(fù)值增量構(gòu)建機(jī)制，向當(dāng)前模型添加一個(gè)隱層神經(jīng)元，在當(dāng)前訓(xùn)練的基礎(chǔ)上計(jì)算新的隱層輸出矩陣和誤差函數(shù)，返回步驟S2；若不滿足，直接返回步驟S2；步驟S4：利用所述復(fù)值二階混合優(yōu)化算法進(jìn)一步微調(diào)所述參數(shù)，得到最優(yōu)的復(fù)值神經(jīng)網(wǎng)絡(luò)模型。

在本發(fā)明的一個(gè)實(shí)施例中，所述復(fù)值神經(jīng)網(wǎng)絡(luò)是初始的三層復(fù)值前向神經(jīng)網(wǎng)絡(luò)模型。

在本發(fā)明的一個(gè)實(shí)施例中，利用復(fù)值二階混合優(yōu)化算法調(diào)整所述復(fù)值神經(jīng)網(wǎng)絡(luò)中的參數(shù)的方法為：利用復(fù)值二階混合優(yōu)化算法在訓(xùn)練集上對(duì)所述復(fù)值神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練。

在本發(fā)明的一個(gè)實(shí)施例中，對(duì)所述復(fù)值神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練時(shí)，先計(jì)算隱層輸出矩陣和模型的實(shí)際輸出，運(yùn)用復(fù)值最小二乘算法經(jīng)計(jì)算得到輸出層與隱層神經(jīng)元之間的權(quán)值調(diào)整量；再經(jīng)計(jì)算得到稀疏矩陣，計(jì)算當(dāng)前的代價(jià)函數(shù)值，利用復(fù)值LM算法計(jì)算網(wǎng)絡(luò)輸入層與隱層神經(jīng)元之間權(quán)值的修正量，并對(duì)其進(jìn)行更新。

在本發(fā)明的一個(gè)實(shí)施例中，所述復(fù)值二階混合優(yōu)化算法包括復(fù)值LM算法與復(fù)值最小二乘算法。

在本發(fā)明的一個(gè)實(shí)施例中，判斷是否滿足構(gòu)建終止條件的方法為：判斷代價(jià)函數(shù)是否小于設(shè)定的誤差閾值或者是否達(dá)到最大迭代次數(shù)。