[發(fā)明專利]基于先驗(yàn)知識(shí)的可拓神經(jīng)網(wǎng)絡(luò)模式識(shí)別方法

無(wú)效

• 申請(qǐng)?zhí)枺?/td>: 201310532381.3
• 申請(qǐng)日: 2013-10-31
• 公開(kāi)（公告）號(hào): CN103559542A
• 公開(kāi)（公告）日: 2014-02-05
• 發(fā)明（設(shè)計(jì)）人: 周玉;王亭嶺;宮賀;陳建明;熊軍華
• 申請(qǐng)（專利權(quán)）人: 華北水利水電大學(xué)
• 主分類號(hào): G06N3/08
• 分類號(hào): G06N3/08
• 代理公司: 鄭州聯(lián)科專利事務(wù)所(普通合伙) 41104
• 代理人: 時(shí)立新

技術(shù)領(lǐng)域

本發(fā)明涉及神經(jīng)網(wǎng)絡(luò)模式識(shí)別領(lǐng)域，尤其涉及一種結(jié)合先驗(yàn)知識(shí)和訓(xùn)練樣本共同驅(qū)動(dòng)下的可拓神經(jīng)網(wǎng)絡(luò)模式識(shí)別方法。

背景技術(shù)

可拓神經(jīng)網(wǎng)絡(luò)（Extension?Neural?Network，ENN）是可拓理論和神經(jīng)網(wǎng)絡(luò)技術(shù)有機(jī)結(jié)合的產(chǎn)物。可拓神經(jīng)網(wǎng)絡(luò)是繼模糊神經(jīng)網(wǎng)絡(luò)、遺傳神經(jīng)網(wǎng)絡(luò)、進(jìn)化神經(jīng)網(wǎng)絡(luò)之后的又一種新的網(wǎng)絡(luò)類型，它的出現(xiàn)和發(fā)展不僅能拓展可拓理論自身的進(jìn)一步的應(yīng)用，也必將推動(dòng)神經(jīng)網(wǎng)絡(luò)技術(shù)和智能計(jì)算的進(jìn)一步發(fā)展。目前，M.H.Wang提出的一種雙權(quán)連接的可拓神經(jīng)網(wǎng)絡(luò)《Extension?neural?network?and?its?applications》（Neural?Networks,2003,第16卷第5期）是應(yīng)用最廣泛的可拓神經(jīng)網(wǎng)絡(luò)模型，它在解決特征向量特征值處于區(qū)間范圍內(nèi)的分類、識(shí)別、聚類等問(wèn)題上效果顯著。相比于傳統(tǒng)神經(jīng)網(wǎng)絡(luò)，可拓神經(jīng)網(wǎng)絡(luò)泛化能力強(qiáng)、可塑性好、訓(xùn)練時(shí)間短、能夠更快地適應(yīng)新的信息，而且在實(shí)際操作過(guò)程中，具有一定的規(guī)律可循，因此，基于雙權(quán)的可拓神經(jīng)網(wǎng)絡(luò)分類器在模式識(shí)別、檢測(cè)、故障診斷等方面有了一定的應(yīng)用。

衡量神經(jīng)網(wǎng)絡(luò)分類識(shí)別性能最重要的指標(biāo)是泛化能力。影響泛化能力最重要的因素之一是訓(xùn)練樣本，高質(zhì)量的訓(xùn)練樣本可以帶來(lái)高質(zhì)量的網(wǎng)絡(luò)性能。然而，高質(zhì)量訓(xùn)練樣本的獲取并不是一件容易的工作，原因在于雖然觀測(cè)數(shù)據(jù)（樣本數(shù)據(jù)）和未見(jiàn)數(shù)據(jù)來(lái)源于同一分布，但通常觀測(cè)數(shù)據(jù)數(shù)量有限，不能很好地刻畫原始數(shù)據(jù)分布；另外，樣本數(shù)據(jù)雖然有時(shí)數(shù)量足夠，但是存在大量信息量不大的數(shù)據(jù)，或者存在大量信息量相似的冗余數(shù)據(jù)；同時(shí)，在樣本數(shù)據(jù)產(chǎn)生過(guò)程中，尤其在惡劣環(huán)境下所獲得的訓(xùn)練樣本，很可能會(huì)存在各種噪聲。因此，在面臨訓(xùn)練樣本質(zhì)量差的情況下，可拓神經(jīng)網(wǎng)絡(luò)的性能急劇下降，故而，我們需要解決在面臨差樣本的環(huán)境下，如何提高可拓神經(jīng)網(wǎng)絡(luò)的性能這一現(xiàn)實(shí)問(wèn)題。

在實(shí)際應(yīng)用過(guò)程中，一方面有時(shí)很難獲取高質(zhì)量的樣本數(shù)據(jù)，但另一方面，雖然有些系統(tǒng)非常復(fù)雜，無(wú)法了解其內(nèi)部的所有結(jié)構(gòu)，但通常可以對(duì)某些過(guò)程機(jī)理有一定了解，知道這些過(guò)程的一些先驗(yàn)知識(shí)信息，因此，希望能充分利用這些信息，建立觀測(cè)數(shù)據(jù)與未見(jiàn)數(shù)據(jù)的聯(lián)系，結(jié)合經(jīng)驗(yàn)建模的方法進(jìn)行模型的建立。加入先驗(yàn)知識(shí)可能是機(jī)器學(xué)習(xí)在有限數(shù)據(jù)下實(shí)現(xiàn)推廣能力（泛化能力）的唯一手段。許多研究表明，利用先驗(yàn)知識(shí)在神經(jīng)網(wǎng)絡(luò)訓(xùn)練前對(duì)他們施加一定的約束，有利于提高網(wǎng)絡(luò)的性能。因此，必須結(jié)合具體學(xué)習(xí)問(wèn)題的先驗(yàn)知識(shí)，才能學(xué)習(xí)出適合特定學(xué)習(xí)問(wèn)題的“最優(yōu)”分類器。

發(fā)明內(nèi)容

本發(fā)明的目的是提供一種基于先驗(yàn)知識(shí)的可拓神經(jīng)網(wǎng)絡(luò)模式識(shí)別方法，能夠有效提高可拓神經(jīng)網(wǎng)絡(luò)的性能；即使面臨訓(xùn)練樣本質(zhì)量差，應(yīng)用于復(fù)雜系統(tǒng)環(huán)境中，基于先驗(yàn)知識(shí)的可拓神經(jīng)網(wǎng)絡(luò)依然具有優(yōu)秀的分類識(shí)別性能。

本發(fā)明采用下述技術(shù)方案：

一種基于先驗(yàn)知識(shí)的可拓神經(jīng)網(wǎng)絡(luò)模式識(shí)別方法，包括以下步驟：（1）、準(zhǔn)備訓(xùn)練樣本集和知識(shí)庫(kù)，訓(xùn)練樣本集是已經(jīng)獲取的觀測(cè)數(shù)據(jù)，假設(shè)訓(xùn)練樣本集為其中N_p是樣本集的樣本總個(gè)數(shù)，第i個(gè)樣本表示為其中n是樣本特征向量包含的特征總個(gè)數(shù)，第i個(gè)樣本類別標(biāo)簽是p；知識(shí)庫(kù)是存儲(chǔ)關(guān)于面對(duì)具體對(duì)象而已經(jīng)知道的信息；針對(duì)可拓神經(jīng)網(wǎng)絡(luò)權(quán)值所體現(xiàn)的知識(shí)特點(diǎn)，選擇對(duì)象特征向量各個(gè)特征值的經(jīng)典域極值，即L_kj表示第k種模式關(guān)于第j個(gè)特征屬性的定量范圍；

（2）、根據(jù)訓(xùn)練樣本和先驗(yàn)知識(shí)，確定可拓神經(jīng)網(wǎng)絡(luò)的初始權(quán)值；

（3）、利用訓(xùn)練樣本對(duì)可拓神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練；如果訓(xùn)練過(guò)程收斂或總誤差率到達(dá)預(yù)設(shè)值，則停止訓(xùn)練，保存訓(xùn)練后的可拓神經(jīng)網(wǎng)絡(luò)的權(quán)值向量；否則繼續(xù)訓(xùn)練；

（4）、利用訓(xùn)練好的可拓神經(jīng)網(wǎng)絡(luò)進(jìn)行模式識(shí)別，直至所有識(shí)別對(duì)象全部識(shí)別完畢。

所述的步驟（2）具體如下：首先確定可拓神經(jīng)網(wǎng)絡(luò)的輸入層的神經(jīng)元個(gè)數(shù)n和輸出層的神經(jīng)元個(gè)數(shù)n_c，輸入層的神經(jīng)元個(gè)數(shù)n等于特征訓(xùn)練特征值的個(gè)數(shù)，輸出層的神經(jīng)元個(gè)數(shù)n_c等于模式狀態(tài)的個(gè)數(shù)；輸入層和輸出層之間采用雙權(quán)連接的方式，其中一個(gè)權(quán)值代表某一特征經(jīng)典域的下限值，另外一個(gè)權(quán)值代表著相應(yīng)特征經(jīng)典域的上限值，連接輸入層第j個(gè)節(jié)點(diǎn)和輸出層第k個(gè)節(jié)點(diǎn)的兩個(gè)權(quán)值分別用和表示，則可拓神經(jīng)網(wǎng)絡(luò)的初始權(quán)值可按照公式（2）～（3）獲得：

所述步驟（3）具體包括以下步驟：

其中每一種模式的初始中心點(diǎn)如下所述：