[發(fā)明專利]一種利用混合稀疏神經(jīng)網(wǎng)絡(luò)快速求解稀疏編碼的方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202010476427.4
• 申請(qǐng)日: 2020-05-29
• 公開(kāi)（公告）號(hào): CN111612016A
• 公開(kāi)（公告）日: 2020-09-01
• 發(fā)明（設(shè)計(jì)）人: 莊連生;龍嘯;李莉;李厚強(qiáng)
• 申請(qǐng)（專利權(quán)）人: 中國(guó)科學(xué)技術(shù)大學(xué)
• 主分類號(hào): G06K9/46
• 分類號(hào): G06K9/46;G06K9/62;G06N3/08
• 代理公司: 北京凱特來(lái)知識(shí)產(chǎn)權(quán)代理有限公司 11260
• 代理人: 鄭立明;付久春

本發(fā)明公開(kāi)了一種利用混合稀疏神經(jīng)網(wǎng)絡(luò)快速求解稀疏編碼的方法，包括：步驟S1，采用粗估計(jì)神經(jīng)網(wǎng)絡(luò)、混合稀疏神經(jīng)網(wǎng)絡(luò)和采樣模塊聯(lián)合作為求解網(wǎng)絡(luò)模型；步驟S2，將輸入數(shù)據(jù)輸入至粗估計(jì)神經(jīng)網(wǎng)絡(luò)進(jìn)行預(yù)測(cè)得出稀疏編碼的初始預(yù)測(cè)結(jié)果；步驟S3，將初始預(yù)測(cè)結(jié)果輸入至混合稀疏神經(jīng)網(wǎng)絡(luò)進(jìn)行預(yù)測(cè)得到稀疏編碼的概率分布參數(shù)；步驟S4，將稀疏編碼的概率分布參數(shù)輸入至采樣模塊對(duì)概率分布結(jié)果進(jìn)行采樣，根據(jù)采樣結(jié)果得出稀疏編碼。該方法由于結(jié)合了概率分布預(yù)測(cè)和稀疏編碼求解方式，相較于已有的稀疏編碼求解方法，預(yù)測(cè)編碼的概率分布能更好地刻畫(huà)編碼，準(zhǔn)確的求解出稀疏編碼。

技術(shù)領(lǐng)域

本發(fā)明涉及人工智能領(lǐng)域，尤其涉及一種利用混合稀疏神經(jīng)網(wǎng)絡(luò)快速求解稀疏編碼的方法。

背景技術(shù)

稀疏編碼已經(jīng)證實(shí)在恢復(fù)高維數(shù)據(jù)的語(yǔ)義信息領(lǐng)域取得了巨大的成功。因此，稀疏編碼在提取原始數(shù)據(jù)的特征上變得十分流行，其應(yīng)用包括：圖像超分辨率、子空間學(xué)習(xí)、圖片分類等一系列領(lǐng)域。

為了獲得原始數(shù)據(jù)的稀疏編碼，傳統(tǒng)方法主要利用高維凸優(yōu)化算法來(lái)求解，比如迭代收縮閾值(ISTA)算法，但是計(jì)算復(fù)雜度很高。為此，研究人員將傳統(tǒng)的迭代收縮閾值計(jì)算模塊展開(kāi)成循環(huán)神經(jīng)網(wǎng)絡(luò)以此來(lái)提高計(jì)算速度，例如：LISTA算法。與傳統(tǒng)的迭代方法不同，LISTA算法在推斷期間具有很高的計(jì)算效率。對(duì)于相同分布的數(shù)據(jù)，一旦訓(xùn)練了神經(jīng)網(wǎng)絡(luò)的可學(xué)習(xí)參數(shù)，就可以通過(guò)將輸入通過(guò)固定的遞歸神經(jīng)網(wǎng)絡(luò)傳遞而不是解決一系列凸優(yōu)化問(wèn)題來(lái)獲得稀疏編碼。然而，由于稀疏編碼問(wèn)題是一個(gè)典型的逆問(wèn)題，同時(shí)考慮到數(shù)據(jù)噪聲以及模型本身的不確定性，對(duì)于特定的輸入可能會(huì)有多個(gè)可行的輸出結(jié)果。現(xiàn)有基于神經(jīng)網(wǎng)絡(luò)的求解方法直接計(jì)算稀疏編碼的準(zhǔn)確值并不可靠，解的精度不高。

發(fā)明內(nèi)容

基于現(xiàn)有技術(shù)所存在的問(wèn)題，本發(fā)明的目的是提供一種利用混合稀疏神經(jīng)網(wǎng)絡(luò)快速求解稀疏編碼的方法，能解決現(xiàn)有基于神經(jīng)網(wǎng)絡(luò)求解稀疏編碼的方法，存在稀疏編碼估計(jì)值不精確的問(wèn)題。

本發(fā)明的目的是通過(guò)以下技術(shù)方案實(shí)現(xiàn)的：

本發(fā)明實(shí)施方式提供一種利用混合稀疏神經(jīng)網(wǎng)絡(luò)求解稀疏編碼的方法，包括：

步驟S1，采用粗估計(jì)神經(jīng)網(wǎng)絡(luò)、混合稀疏神經(jīng)網(wǎng)絡(luò)和采樣模塊聯(lián)合作為求解網(wǎng)絡(luò)模型；

步驟S2，將輸入數(shù)據(jù)輸入至所述粗估計(jì)神經(jīng)網(wǎng)絡(luò)進(jìn)行預(yù)測(cè)得到稀疏編碼的初始預(yù)測(cè)結(jié)果；

步驟S3，將所述稀疏編碼的初始預(yù)測(cè)結(jié)果輸入至所述的混合稀疏神經(jīng)網(wǎng)絡(luò)進(jìn)行預(yù)測(cè)，得到稀疏編碼的概率分布參數(shù)；

步驟S4，將所述混合稀疏神經(jīng)網(wǎng)絡(luò)得到的概率分布參數(shù)輸入至所述采樣模塊進(jìn)行采樣得到采樣結(jié)果，根據(jù)所述采樣結(jié)果得出稀疏編碼。

由上述本發(fā)明提供的技術(shù)方案可以看出，本發(fā)明實(shí)施例提供的利用混合稀疏神經(jīng)網(wǎng)絡(luò)快速求解稀疏編碼的方法，其有益效果為：

通過(guò)采用粗估計(jì)神經(jīng)網(wǎng)絡(luò)、混合稀疏神經(jīng)網(wǎng)絡(luò)和采樣模塊聯(lián)合作為求解網(wǎng)絡(luò)模型，能實(shí)現(xiàn)先預(yù)測(cè)，再利用混合稀疏神經(jīng)網(wǎng)絡(luò)進(jìn)行概率分布預(yù)測(cè)得到概率分布參數(shù)，之后通過(guò)采樣模塊對(duì)概率分布參數(shù)進(jìn)行采樣求解得出稀疏編碼，由于結(jié)合了概率分布預(yù)測(cè)和稀疏編碼求解方式，相較于已有的稀疏編碼求解方法，預(yù)測(cè)編碼的概率分布能更好地處理輸入數(shù)據(jù)的噪聲、模型的不確定性，可以更加快速、準(zhǔn)確的求解出稀疏編碼。本發(fā)明的方法能夠有效地降低稀疏編碼的預(yù)測(cè)誤差，提高算法的收斂速率。

附圖說(shuō)明

為了更清楚地說(shuō)明本發(fā)明實(shí)施例的技術(shù)方案，下面將對(duì)實(shí)施例描述中所需要使用的附圖作簡(jiǎn)單地介紹，顯而易見(jiàn)地，下面描述中的附圖僅僅是本發(fā)明的一些實(shí)施例值，對(duì)于本領(lǐng)域的普通技術(shù)人員來(lái)講，在不付出創(chuàng)造性勞動(dòng)的前提下，還可以根據(jù)這些附圖獲得其他附圖。

圖1為本發(fā)明實(shí)施例提供的利用混合稀疏神經(jīng)網(wǎng)絡(luò)快速求解稀疏編碼的方法流程圖；