[發(fā)明專利]用于圖像分類的單純形神經(jīng)網(wǎng)絡(luò)的構(gòu)建方法及裝置

在審

• 申請?zhí)枺?/td>: 202011554742.0
• 申請日: 2020-12-22
• 公開（公告）號: CN112508183A
• 公開（公告）日: 2021-03-16
• 發(fā)明（設(shè)計）人: 寧欣;董肖莉;田偉娟;李衛(wèi)軍;張麗萍;孫琳鈞;李爽
• 申請（專利權(quán)）人: 中國科學(xué)院半導(dǎo)體研究所
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06N3/08
• 代理公司: 中科專利商標(biāo)代理有限責(zé)任公司 11021
• 代理人: 王江選

一種用于圖像分類的單純形神經(jīng)網(wǎng)絡(luò)的構(gòu)建方法，包括以下步驟：對輸入圖像進(jìn)行特征提取，通過若干并行卷積組提取得到所述輸入圖像的特征圖，挖掘所述特征圖中的特征點在高維空間的流形分布；通過自組織映射，對提取到的所述輸入圖像的特征圖進(jìn)行聚類，構(gòu)建流形分布子空間；構(gòu)建用于小樣本圖像分類的單純形神經(jīng)元，基于所述單純形神經(jīng)元對通過自組織映射聚類后的不同流形分布子空間進(jìn)行覆蓋學(xué)習(xí)，得到用于圖像分類的單純形神經(jīng)網(wǎng)絡(luò)模型。本發(fā)明所提出的單純形神經(jīng)元，以線段、三角形和四面體等為基礎(chǔ)形狀，通過形狀的扭曲變換和疊加可構(gòu)建多種復(fù)雜的幾何形體，在復(fù)雜非線性函數(shù)的擬合方面，具備較大的潛力和優(yōu)勢。

技術(shù)領(lǐng)域

本發(fā)明涉及人工智能技術(shù)領(lǐng)域，尤其涉及一種用于小樣本圖像分類的單純形神經(jīng)網(wǎng)絡(luò)模型的構(gòu)建方法及裝置。

背景技術(shù)

深度神經(jīng)網(wǎng)絡(luò)是由大量的神經(jīng)元構(gòu)成，其神經(jīng)元的非線性和各種復(fù)雜連接保證了深度神經(jīng)網(wǎng)絡(luò)可以以無限精度逼近任意Rⁿ緊子集上的連續(xù)函數(shù)，這是深度神經(jīng)網(wǎng)絡(luò)可以取得成功的原因之一。另外，在自然獲取的數(shù)據(jù)中天然存在一定的流形結(jié)構(gòu)分布，深度學(xué)習(xí)也是在學(xué)習(xí)數(shù)據(jù)內(nèi)部的流形結(jié)構(gòu)分布。

神經(jīng)網(wǎng)絡(luò)的發(fā)展離不開對生物神經(jīng)網(wǎng)絡(luò)的模仿。1943年，Meculloch和Pitts提出了M-P線性神經(jīng)元，在神經(jīng)網(wǎng)絡(luò)的研究中開啟了新的紀(jì)元。1988年，Broomhead和Lowe提出徑向基函數(shù)RBF神經(jīng)元，將低維輸入數(shù)據(jù)投影到由RBF組成的高維隱空間中的，成功解決了M-P神經(jīng)元線性不可分的問題，從而神經(jīng)網(wǎng)絡(luò)可以真正用于解決實際任務(wù)。這種神經(jīng)元模型仍需假定在高維空間中數(shù)據(jù)是線性可分的，但實際中數(shù)據(jù)未必服從該假設(shè)，因而基于上述神經(jīng)元的神經(jīng)網(wǎng)絡(luò)模型有一定的局限性，其特征的表達(dá)性和判別性受到一定制約，模型精度受到一定影響。

現(xiàn)存的經(jīng)典神經(jīng)網(wǎng)絡(luò)，性能的提升需要依靠更大的參數(shù)空間、更深層的網(wǎng)絡(luò)以及更豐富的訓(xùn)練數(shù)據(jù)支撐，對于小樣本的數(shù)據(jù)，模型的規(guī)模要求更高，參數(shù)空間和網(wǎng)絡(luò)自由度是很有限的，少量的數(shù)據(jù)是無法保證有限的參數(shù)最優(yōu)化學(xué)習(xí)的，從而限制了模型的性能提升。

發(fā)明內(nèi)容

有鑒于此，本發(fā)明的主要目的在于提供一種用于小樣本圖像分類的單純形神經(jīng)網(wǎng)絡(luò)模型的構(gòu)建方法及裝置，以期部分地解決上述技術(shù)問題中的至少之一。

為了實現(xiàn)上述目的，作為本發(fā)明的一方面，提供了一種用于圖像分類的單純形神經(jīng)網(wǎng)絡(luò)的構(gòu)建方法，包括以下步驟：

對輸入圖像進(jìn)行特征提取，通過若干并行卷積組提取得到所述輸入圖像的特征圖，挖掘所述特征圖中的特征點在高維空間的流形分布；

通過自組織映射，對提取到的所述輸入圖像的特征圖進(jìn)行聚類，構(gòu)建流形分布子空間；

構(gòu)建用于圖像分類的單純形神經(jīng)元，基于所述單純形神經(jīng)元對通過自組織映射聚類后的不同流形分布子空間進(jìn)行覆蓋學(xué)習(xí)，得到用于圖像分類的單純形神經(jīng)網(wǎng)絡(luò)模型。

其中，所述單純形神經(jīng)元以線段、三角形或四面體為基礎(chǔ)形狀，通過形狀的扭曲變換和疊加構(gòu)建多種復(fù)雜的幾何形體。

其中，所述并行卷積組包括VGG、ResNet、Densenet和Xception結(jié)構(gòu)。

其中，所述自組織映射是基于多種距離度量方式進(jìn)行無監(jiān)督聚類，所述度量方式包括歐氏距離和余弦距離。

其中，所述構(gòu)建用于圖像分類的單純形神經(jīng)元包括：

默認(rèn)一個簇為一個獨立的分布，計算各自空間中各樣本間的距離，選擇兩兩距離之和最大的n個樣本對n維單純形的n個頂點進(jìn)行初始化，即得到單純形神經(jīng)元的n個核；

計算每個簇中樣本點到單純形距離的標(biāo)準(zhǔn)差，以便對超球半徑進(jìn)行初始化；

對單純形和超球進(jìn)行膨脹積即得到初始化的單純形神經(jīng)元。

其中，計算每個簇中樣本點到單純形距離的計算公式如下：