[發明專利]基于同源連續性的單純形深度神經網絡模型及構建方法

在審

• 申請號: 201911375117.7
• 申請日: 2019-12-27
• 公開（公告）號: CN111144550A
• 公開（公告）日: 2020-05-12
• 發明（設計）人: 寧欣;李衛軍;田偉娟;董肖莉;張麗萍
• 申請（專利權）人: 中國科學院半導體研究所
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06N3/08
• 代理公司: 中科專利商標代理有限責任公司 11021
• 代理人: 吳夢圓

一種基于同源連續性的單純形深度神經網絡模型的構建方法，包括如下步驟：步驟1，對輸入樣本進行特征提取，通過若干并行卷積組提取得到輸入樣本的特征圖，挖掘樣本點在高維空間的流形分布；步驟2，通過自組織映射，對步驟1中提取到的特征圖進行聚類，構建流形分布子空間；步驟3，構建單純形神經元，基于所述單純形神經元對步驟2中自組織映射聚類后的不同流形分布子空間進行覆蓋學習，由此得到所述基于同源連續性的單純形深度神經網絡模型。本發明構造的單純形神經元模型，以樣本拓撲結構在特征隱空間中具有連通性作為先驗知識，學習單純形神經元的參數，在特征隱空間對樣本進行覆蓋學習，學習速度更快，并且具有更好的逼近性能和抗噪能力。

技術領域

本發明涉及人工智能技術領域，尤其涉及一種基于同源連續性的單純形深度神經網絡模型及構建方法。

背景技術

深度神經網絡可以地將特征提取與分類學習自然而然地整合在一起，實現一種端到端的學習。近年來，深度神經網絡快速發展，在分類、定位、語義分割和行為識別等任務中的瓶頸得以突破，在現實世界的各個領域都達到甚至超越了人的表現水平。

深度神經網絡是由大量的神經元構成，其神經元的非線性和各種復雜連接保證了深度神經網絡可以以無限精度逼近任意Rⁿ緊子集上的連續函數，這是深度神經網絡可以取得成功的原因之一。另外，在自然獲取的數據中天然存在一定的流形結構分布，深度學習也是在學習數據內部的流形結構分布。

神經網絡的發展離不開對生物神經網絡的模仿。1943年，Meculloch和Pitts提出了M-P線性神經元，在神經網絡的研究中開啟了新的紀元。1988年，Broomhead和Lowe提出徑向基函數RBF神經元，將低維輸入數據投影到由RBF組成的高維隱空間中的，成功解決了M-P神經元線性不可分的問題，從而神經網絡可以真正用于解決實際任務。這種神經元模型仍需假定在高維空間中數據是線性可分的，但實際中數據未必服從該假設，因而基于上述神經元的神經網絡模型有一定的局限性，其特征的表達性和判別性受到一定制約，模型精度受到一定影響。

國內王守覺院士也提出一種基于高維空間幾何分析理論的神經網絡模型。相對于傳統模式識別方法，他認為應當更注重“認知”，而非“劃分”，從而引入基于覆蓋的仿生模式識別方法。該理論認為，事物具有“同源連續性”，即同類事物的兩個不同樣本之間至少存在一個漸變的過程，在這個過程中所有的樣本仍屬于該類別。體現在特征隱空間中，即同類樣本是連續分布的，任意兩個樣本點之前存在至少一條連續的通道，經過通道上的每一個點均屬于該類樣本。以同源連續性為基礎，仿生模式識別即研究在高維特征隱空間中如何對樣本進行最優覆蓋。

發明內容

有鑒于此，本發明的主要目的在于提供一種基于同源連續性的單純形覆蓋模型及方法，以期至少部分地解決上述技術問題中的至少之一。

為了實現上述目的，作為本發明的一方面，提供了一種基于同源連續性的單純形覆蓋模型的構建方法，包括以下步驟：

步驟1，對輸入樣本進行特征提取，通過若干并行卷積組提取得到輸入樣本的特征圖，挖掘樣本點在高維空間的流形分布；

步驟2，通過自組織映射，對步驟1中提取到的特征圖進行聚類，構建流形分布子空間；

步驟3，構建單純形神經元，基于所述單純形神經元對步驟2中自組織映射聚類后的不同流形分布子空間進行覆蓋學習，由此得到所述基于同源連續性的單純形深度神經網絡模型。

其中，步驟1中所述的并行卷積組包括但不限于VGG、ResNet、Densenet或Xception結構。

其中，步驟2中所述的自組織映射是基于多種度量方式進行無監督聚類，其中包括但不限于歐氏距離或余弦距離。

其中，步驟3中所述的單純形神經元的構建過程如下：