[發(fā)明專利]一種樹突神經(jīng)網(wǎng)絡(luò)初始化方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202110655038.2
• 申請(qǐng)日: 2021-06-11
• 公開（公告）號(hào): CN113408602A
• 公開（公告）日: 2021-09-17
• 發(fā)明（設(shè)計(jì)）人: 秦峰;嵇凌;陳奕釗;葛宏宇;王輝;吳林印;羅旭東
• 申請(qǐng)（專利權(quán)）人: 中國(guó)電子科技集團(tuán)公司第三十四研究所
• 主分類號(hào): G06K9/62
• 分類號(hào): G06K9/62;G06N3/04;G06N3/08
• 代理公司: 桂林市華杰專利商標(biāo)事務(wù)所有限責(zé)任公司 45112
• 代理人: 周雯

本發(fā)明屬于人工神經(jīng)網(wǎng)絡(luò)優(yōu)化領(lǐng)域，具體涉及一種樹突神經(jīng)網(wǎng)絡(luò)初始化方法，包括對(duì)神經(jīng)元樹突的修剪，包括如下步驟：步驟一：使用k?fold交叉驗(yàn)證方法從數(shù)據(jù)集中生成訓(xùn)練集D；步驟二：使用二值化方法從訓(xùn)練集D中生成新的數(shù)據(jù)集T；步驟三：通過(guò)ID3或C4.5學(xué)習(xí)算法生成相應(yīng)的決策樹結(jié)構(gòu)；步驟四：合并葉子節(jié)點(diǎn)標(biāo)記為1的決策樹的路徑，并修剪葉子節(jié)點(diǎn)標(biāo)記為0的路徑；步驟五：根據(jù)決策樹中標(biāo)記為1的路徑數(shù)量確定樹突神經(jīng)網(wǎng)絡(luò)中dendrite層的數(shù)量；步驟六:根據(jù)決策樹的各個(gè)路徑構(gòu)造具有相同分類功能的dendrite層。進(jìn)一步，還包括基于一位有效編碼的分類方法，本發(fā)明的初始化方法修剪精度高、收斂速度快、泛化能力好。

技術(shù)領(lǐng)域

本發(fā)明屬于人工神經(jīng)網(wǎng)絡(luò)優(yōu)化領(lǐng)域，具體涉及一種樹突神經(jīng)網(wǎng)絡(luò) 初始化方法。

背景技術(shù)

人工神經(jīng)網(wǎng)絡(luò)(ANN)是受自然神經(jīng)元抑制和觸發(fā)的電位生成機(jī) 制啟發(fā)而建立的一種操作模型。ANN成功地解決了預(yù)測(cè)估計(jì)領(lǐng)域中 的許多實(shí)際問(wèn)題，例如樹突神經(jīng)網(wǎng)絡(luò)(DNM)成功用于乳腺癌、肝 病、信用等高精度分類以及金融時(shí)間序列，匯率與旅客到達(dá)，中國(guó)房 價(jià)指數(shù)的預(yù)測(cè)，建立樹突狀神經(jīng)元模型需要對(duì)神經(jīng)元的樹突進(jìn)行修剪， 以達(dá)到信息傳輸和存儲(chǔ)的效果。有人聚焦于過(guò)濾級(jí)修剪，即根據(jù)神經(jīng) 元的重要性進(jìn)行剪切，該方法在不改變?cè)械木W(wǎng)絡(luò)結(jié)構(gòu)上，提高了網(wǎng) 絡(luò)的性能，具有較強(qiáng)的泛化能力；有人提出了一種修剪人工神經(jīng)網(wǎng)絡(luò) 的新方法，利用神經(jīng)網(wǎng)絡(luò)的神經(jīng)復(fù)雜度進(jìn)行度量，在保持學(xué)習(xí)行為和 適合度的同時(shí)，減少過(guò)大復(fù)雜度的網(wǎng)絡(luò)，這種修剪方法是對(duì)最常用的 基于幅度的修剪方法的重大改進(jìn)；有人提出了一種徑向基函數(shù)(RBF) 網(wǎng)絡(luò)的順序?qū)W習(xí)算法，稱為RBF網(wǎng)絡(luò)的廣義增長(zhǎng)和修剪算法 (GGAP-RBF)，GGAP-RBF神經(jīng)網(wǎng)絡(luò)的生長(zhǎng)和修剪策略是基于所需的 學(xué)習(xí)精度與最近增加的新神經(jīng)元重要性進(jìn)行的，但是，該方法復(fù)雜度 較高，不利于實(shí)際應(yīng)用；也有人提出了一種新的通道剪枝方法來(lái)加速 非常深的卷積神經(jīng)網(wǎng)絡(luò)，并提出了一種迭代兩步算法，通過(guò)基于 LASSO回歸的通道選擇和最小二乘重構(gòu)來(lái)有效地剪枝每一層，進(jìn)一 步將該算法如果推廣到多層、多分支的情況，但該方法會(huì)剪切貢獻(xiàn)度 高的神經(jīng)元，使得網(wǎng)絡(luò)精度下降。

樹突神經(jīng)網(wǎng)絡(luò)(DNM)是一種仿生學(xué)網(wǎng)絡(luò)，神經(jīng)元的基本結(jié)構(gòu)包括 樹突、軸突、胞體和細(xì)胞核。因此，樹突神經(jīng)網(wǎng)絡(luò)有四層：Synaptic、 Dendritic、Membrane和Soma層。Synaptic層接收輸入信號(hào)并使用 sigmoid函數(shù)將線性信號(hào)轉(zhuǎn)換為神經(jīng)元信號(hào)。Dendritic層是對(duì)Synaptic 層的輸出進(jìn)行匯聚處理。Membrane層是增強(qiáng)Dendritic層的輸出，并 將結(jié)果輸入到Soma層。Soma層利用另一個(gè)Sigmoid函數(shù)來(lái)給出最 終結(jié)果。

參見(jiàn)圖1，所示為一個(gè)有6層Dendrite和9個(gè)輸入的DNM網(wǎng)絡(luò) 結(jié)構(gòu)圖。其中，輸入x_i的通過(guò)Dendritic與Synaptic層連接(四種連接 狀態(tài))，Membrane層對(duì)Synaptic層的輸出進(jìn)行增強(qiáng)激活并將其轉(zhuǎn)移到 Soma層。

Synaptic層是神經(jīng)元間信息交互的重要組成部分。該層利用 Sigmoid函數(shù)將線性信號(hào)轉(zhuǎn)化為神經(jīng)元信號(hào)。根據(jù)接收離子引起的電 位變化，Synapses層可分為抑制性Synapses和興奮性Synapses兩種 形式。Synapses層公式如下：

其中，Y_ij代表從第i個(gè)輸入到第j個(gè)Synapses層的輸出，范圍為 [0，1]。k為連接參數(shù)，通常設(shè)置為1到10之間的整數(shù)。當(dāng)ω_ij和θ_ij取 不同值時(shí)，可對(duì)應(yīng)于四個(gè)連接狀態(tài)，參見(jiàn)圖2。四種連接狀態(tài)描述如 下：

1)常0連接(ω_ij＜0＜θ_ij或0＜ω_ij＜θ_ij)，在該狀態(tài)下，無(wú)論x_i的值 如何，輸出Y_ij均為0。