[發明專利]一種利用混合稀疏神經網絡快速求解稀疏編碼的方法

在審

• 申請號: 202010476427.4
• 申請日: 2020-05-29
• 公開（公告）號: CN111612016A
• 公開（公告）日: 2020-09-01
• 發明（設計）人: 莊連生;龍嘯;李莉;李厚強
• 申請（專利權）人: 中國科學技術大學
• 主分類號: G06K9/46
• 分類號: G06K9/46;G06K9/62;G06N3/08
• 代理公司: 北京凱特來知識產權代理有限公司 11260
• 代理人: 鄭立明;付久春

1.一種利用混合稀疏神經網絡求解稀疏編碼的方法，其特征在于，包括：

步驟S1，采用粗估計神經網絡、混合稀疏神經網絡和采樣模塊聯合作為求解網絡模型；

步驟S2，將輸入數據輸入至所述粗估計神經網絡進行預測得到稀疏編碼的初始預測結果；

步驟S3，將所述稀疏編碼的初始預測結果輸入至所述混合稀疏神經網絡進行概率分布預測得到稀疏編碼的概率分布參數；

步驟S4，將所述混合稀疏神經網絡得到的稀疏編碼的概率分布參數輸入至所述采樣模塊進行采樣得到采樣結果，根據所述采樣結果得出稀疏編碼。

2.根據權利要求1所述的利用混合稀疏神經網絡求解稀疏編碼的方法，其特征在于，所述方法的步驟S2中，將輸入數據輸入至所述粗估計神經網絡進行預測得到稀疏編碼的初始預測結果為：

輸入數據將x輸入到所述粗估計神經網絡中，求得所述粗估計神經網絡的預測結果為：

Z(t)＝h_θ(W_ex+SZ(t-1))t＝1，...，T_t；

其中，表示粗估計神經網絡得到的稀疏編碼的初始預測結果，即Z(t)最后一步的結果；Z(t)表示一個迭代隱變量；x表示輸入數據；h表示取值集合為的激活函數；θ表示一維的參數變量；S表示迭代隱變量之間的參數矩陣；W_e表示輸入數據與迭代隱變量之間的參數矩陣。

3.根據權利要求1或2所述的利用混合稀疏神經網絡求解稀疏編碼的方法，其特征在于，所述方法的步驟S3中，所述將稀疏編碼的初始預測結果輸入至所述混合稀疏神經網絡進行概率分布預測得到稀疏編碼的概率分布參數為：

其中，Θ表示混合稀疏網絡輸出的概率分布參數，其由三部分組成：α表示混合系數，且μ_i對應第i個高斯分布的中心，且diag(σ_i)是m×m的對角陣對應第i個高斯分布的協方差矩陣；表示所述粗估計神經網絡得到的稀疏編碼的初始預測結果；f表示激活函數：對于α激活函數為softmax函數，對于μ激活函數為軟閾值操作函數，對于σ激活函數為取值恒為正值的函數；W_m表示所述粗估計神經網絡的稀疏編碼的初始預測結果與所述混合稀疏神經網絡輸出的概率分布參數之間的參數矩陣。

4.根據權利要求1或2所述的利用混合稀疏神經網絡求解稀疏編碼的方法，其特征在于，所述方法的步驟S4中，所述將所述混合稀疏神經網絡得到的稀疏編碼的概率分布參數輸入至所述采樣模塊進行采樣得到的采樣結果為：

其中，ind表示高斯核函數的位置索引；α_i表示混合系數α的第i個位置的分量；

所述根據采樣結果得出的稀疏編碼為：

z＝μ_ind；

其中，z表示最終得出的稀疏編碼，μ_ind表示第ind索引的高斯分布的中心，ind為對所述混合稀疏網絡得到的稀疏編碼的概率分布參數采樣得到的位置索引。

5.根據權利要求1或2所述的利用混合稀疏神經網絡求解稀疏編碼的方法，其特征在于，所述方法中，粗估計神經網絡采用以下神經網絡中的任一種：LISTA神經網絡、ALISTA神經網絡和Coupled-LISTA神經網絡。