[發(fā)明專利]一種基于多通道矩陣隨機(jī)自編碼器的自動(dòng)特征提取方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202211042453.1
• 申請(qǐng)日: 2022-08-29
• 公開（公告）號(hào): CN115345284A
• 公開（公告）日: 2022-11-15
• 發(fā)明（設(shè)計(jì)）人: 王天磊;張?jiān)姵?/a>;曹九穩(wěn)
• 申請(qǐng)（專利權(quán)）人: 杭州電子科技大學(xué)
• 主分類號(hào): G06N3/04
• 分類號(hào): G06N3/04;G06N3/08;G06F17/16
• 代理公司: 杭州君度專利代理事務(wù)所(特殊普通合伙) 33240
• 代理人: 朱月芬

本發(fā)明公開了一種基于多通道矩陣隨機(jī)自編碼器的自動(dòng)特征提取方法。本發(fā)明針對(duì)多通道矩陣數(shù)據(jù)(設(shè)大小為D₁×D₂×K，K是通道數(shù)，D₁是行數(shù)即長(zhǎng)度，D₂是列數(shù)即寬度)，以矩陣形式分別獲取各通道的隱藏層輸出，并求和作為最終網(wǎng)絡(luò)的隱藏層輸出。然后根據(jù)隱藏層輸出，分別重建各個(gè)通道的輸入，在重建過程中學(xué)習(xí)到包含各個(gè)通道結(jié)構(gòu)信息的特征表示，保留原始數(shù)據(jù)結(jié)構(gòu)信息的同時(shí)也綜合提取了所有通道的有效特征，實(shí)現(xiàn)了原始輸入的極小化誤差重建，使得能夠高效的處理多種復(fù)雜高維多通道特征。

技術(shù)領(lǐng)域

本發(fā)明屬于機(jī)器學(xué)習(xí)和數(shù)據(jù)挖掘領(lǐng)域，涉及一種基于多通道矩陣隨機(jī)自編碼器的自動(dòng)特征提取方法。

背景技術(shù)

自編碼器作為一種有效的自動(dòng)特征提取方法，在機(jī)器學(xué)習(xí)和數(shù)據(jù)挖掘領(lǐng)域有著廣泛的應(yīng)用。特別地，基于單隱層前饋神經(jīng)網(wǎng)絡(luò)的隨機(jī)自編碼器(RNN-AE)具有快速的學(xué)習(xí)速度，更少的人工干預(yù)以及更好的特征學(xué)習(xí)能力，因此受到了廣泛的研究與應(yīng)用。然而目前的RNN-AE在進(jìn)行自動(dòng)特征提取時(shí)，需要將輸入數(shù)據(jù)進(jìn)行向量化，如大小為H×W的灰度圖，在進(jìn)行自動(dòng)特征提取時(shí)，需要轉(zhuǎn)化為(H*W)×1的向量。這種方式嚴(yán)重破壞了數(shù)據(jù)之間的結(jié)構(gòu)信息，尤其對(duì)于多通道信號(hào)數(shù)據(jù)，如多通道腦電信號(hào)、視頻序列等，該問題會(huì)嚴(yán)重影響最終RNN-AE自動(dòng)提取的特征的表征性。目前缺少有效處理復(fù)雜高維多通道數(shù)據(jù)的隨機(jī)自編碼器，通道信息的遺漏無疑限制了自編碼器在特征提取上的性能，導(dǎo)致其應(yīng)用受限。

發(fā)明內(nèi)容

為了克服上述RNN-AE存在的問題，本發(fā)明提出了一種基于多通道矩陣隨機(jī)自編碼器(DMMRAE)的自動(dòng)特征提取方法，該方法針對(duì)多通道矩陣數(shù)據(jù)(設(shè)大小為D₁×D₂×K，K是通道數(shù)，D₁是行數(shù)即長(zhǎng)度，D₂是列數(shù)即寬度)，以矩陣形式分別獲取各通道的隱藏層輸出，并求和作為最終網(wǎng)絡(luò)的隱藏層輸出。然后根據(jù)隱藏層輸出，分別重建各個(gè)通道的輸入，在重建過程中學(xué)習(xí)到包含各個(gè)通道結(jié)構(gòu)信息的特征表示，保留原始數(shù)據(jù)結(jié)構(gòu)信息的同時(shí)也綜合提取了所有通道的有效特征，實(shí)現(xiàn)了原始輸入的極小化誤差重建，使得能夠高效的處理多種復(fù)雜高維多通道特征。

本發(fā)明的技術(shù)方案主要包括如下步驟：

步驟1、給定經(jīng)過歸一化處理后的多通道訓(xùn)練樣本集X＝[x₁,x₂,…,x_N],i＝1,2,…,N,其中表示第i個(gè)尺寸為D₁×D₂×K的樣本，K表示通道數(shù)量，N表示樣本數(shù)量。

步驟2、以多通道訓(xùn)練樣本集X作為輸入，根據(jù)樣本x_i的通道數(shù)量隨機(jī)生成K個(gè)權(quán)重矩陣以及K個(gè)隱藏層偏置矩陣L表示隱藏層節(jié)點(diǎn)的數(shù)量，其中k表示通道的編號(hào)，k＝1,2,…,K。分別計(jì)算每個(gè)通道的隱藏層輸出為：

其中g(shù)(·)激活函數(shù)，表示第i個(gè)尺寸為D₁×D₂×K的樣本中第k個(gè)通道的數(shù)據(jù)；由此可以得到隱藏層輸出：

步驟3、構(gòu)建基于多通道的矩陣隨機(jī)自編碼器的損失函數(shù)，表述如下：

其中，是需要進(jìn)行訓(xùn)練獲得的輸出權(quán)重，C為正則項(xiàng)參數(shù),表示取F范數(shù)。上述損失函數(shù)明顯屬于凸優(yōu)化問題，對(duì)輸出權(quán)重β^(k)求導(dǎo)后其導(dǎo)數(shù)表述為：

令上式(4)等于零可得到輸出權(quán)重的解析解：