[發(fā)明專(zhuān)利]用于分類(lèi)的強(qiáng)制稀疏

在審

• 申請(qǐng)?zhí)枺?/td>: 201680050371.8
• 申請(qǐng)日: 2016-08-04
• 公開(kāi)（公告）號(hào): CN107924486A
• 公開(kāi)（公告）日: 2018-04-17
• 發(fā)明（設(shè)計(jì)）人: S·馬宗達(dá);R·B·托瓦
• 申請(qǐng)（專(zhuān)利權(quán)）人: 高通股份有限公司
• 主分類(lèi)號(hào): G06N3/08
• 分類(lèi)號(hào): G06N3/08;G06N99/00;G06K9/62
• 代理公司: 上海專(zhuān)利商標(biāo)事務(wù)所有限公司31100
• 代理人: 周敏,陳煒

相關(guān)申請(qǐng)的交叉引用

本申請(qǐng)要求于2015年9月2日提交的題為“ENFORCED SPARSITY FOR CLASSIFICATION(用于分類(lèi)的強(qiáng)制稀疏)”的美國(guó)臨時(shí)專(zhuān)利申請(qǐng)No.62/213,591的權(quán)益，其公開(kāi)內(nèi)容通過(guò)援引全部明確納入于此。

背景

領(lǐng)域

本公開(kāi)的某些方面一般涉及機(jī)器學(xué)習(xí)，且更具體地涉及改進(jìn)特征提取和分類(lèi)的系統(tǒng)和方法。

背景技術(shù)

可包括一群互連的人工神經(jīng)元(例如，神經(jīng)元模型)的人工神經(jīng)網(wǎng)絡(luò)是一種計(jì)算設(shè)備或者表示將由計(jì)算設(shè)備執(zhí)行的方法。

卷積神經(jīng)網(wǎng)絡(luò)是一種前饋人工神經(jīng)網(wǎng)絡(luò)。卷積神經(jīng)網(wǎng)絡(luò)可包括神經(jīng)元集合，其中每一個(gè)神經(jīng)元具有感受野并且共同地拼出一輸入空間。卷積神經(jīng)網(wǎng)絡(luò)(CNN)具有眾多應(yīng)用。具體而言，CNN已被廣泛使用于模式識(shí)別和分類(lèi)領(lǐng)域。

深度學(xué)習(xí)架構(gòu)(諸如深度置信網(wǎng)絡(luò)和深度卷積網(wǎng)絡(luò))是分層神經(jīng)網(wǎng)絡(luò)架構(gòu)，其中第一層神經(jīng)元的輸出變成第二層神經(jīng)元的輸入，第二層神經(jīng)元的輸出變成第三層神經(jīng)元的輸入，依此類(lèi)推。深度神經(jīng)網(wǎng)絡(luò)可被訓(xùn)練以識(shí)別特征階層并且因此它們已被越來(lái)越多地用于對(duì)象識(shí)別應(yīng)用。類(lèi)似于卷積神經(jīng)網(wǎng)絡(luò)，這些深度學(xué)習(xí)架構(gòu)中的計(jì)算可分布在處理節(jié)點(diǎn)群體上，其可被配置在一個(gè)或多個(gè)計(jì)算鏈中。這些多層架構(gòu)可每次訓(xùn)練一層并可使用反向傳播微調(diào)。

其他模型也可用于對(duì)象識(shí)別。例如，支持向量機(jī)(SVM)是可被應(yīng)用于分類(lèi)的學(xué)習(xí)工具。支持向量機(jī)包括對(duì)數(shù)據(jù)進(jìn)行歸類(lèi)的分離超平面(例如，決策邊界)。該超平面由監(jiān)督式學(xué)習(xí)來(lái)定義。期望的超平面增加訓(xùn)練數(shù)據(jù)的裕量。換言之，超平面應(yīng)該具有到訓(xùn)練示例的最大的最小距離。

盡管這些解決方案在數(shù)個(gè)分類(lèi)基準(zhǔn)上達(dá)到了優(yōu)異的結(jié)果，但它們的計(jì)算復(fù)雜度可能極其高。另外，模型的訓(xùn)練可能是有挑戰(zhàn)性的。

概述

在本公開(kāi)的一方面，公開(kāi)了一種用于對(duì)輸入進(jìn)行分類(lèi)的裝置。該裝置包括分類(lèi)器和特征提取器。特征提取器被配置成從輸入生成特征向量。特征向量還被配置成將該特征向量的數(shù)個(gè)元素設(shè)為零以產(chǎn)生稀疏特征向量。稀疏特征向量具有與由特征提取器生成的特征向量相同的維度。稀疏特征向量包括比由特征提取器生成的特征向量更少的非零元素。特征向量被進(jìn)一步配置成將稀疏特征向量轉(zhuǎn)發(fā)給分類(lèi)器以對(duì)輸入進(jìn)行分類(lèi)。

在本公開(kāi)的另一方面，公開(kāi)了一種用于對(duì)輸入進(jìn)行分類(lèi)的方法。該方法包括從輸入生成特征向量。該方法還包括將該特征向量的數(shù)個(gè)元素設(shè)為零以產(chǎn)生稀疏特征向量。稀疏特征向量具有與所生成的特征向量相同的維度。稀疏特征向量還包括比所生成的特征向量更少的非零元素。該方法進(jìn)一步包括成將稀疏特征向量轉(zhuǎn)發(fā)給分類(lèi)器以對(duì)輸入進(jìn)行分類(lèi)。

在本公開(kāi)的又一方面，公開(kāi)了一種用于對(duì)輸入進(jìn)行分類(lèi)的設(shè)備。該設(shè)備包括用于從輸入生成特征向量的裝置。該設(shè)備還包括用于將該特征向量的數(shù)個(gè)元素設(shè)為零以產(chǎn)生稀疏特征向量的裝置。稀疏特征向量具有與所生成的特征向量相同的維度。稀疏特征向量還包括比所生成的特征向量更少的非零元素。該設(shè)備進(jìn)一步包括用于成將稀疏特征向量轉(zhuǎn)發(fā)給分類(lèi)器以對(duì)輸入進(jìn)行分類(lèi)的裝置。

根據(jù)本公開(kāi)的再一方面，給出了一種非瞬態(tài)計(jì)算機(jī)可讀介質(zhì)。該非瞬態(tài)計(jì)算機(jī)可讀介質(zhì)其上編碼有用于分類(lèi)的程序代碼。該程序代碼由處理器執(zhí)行并且包括用于從輸入生成特征向量的程序代碼。該程序代碼還包括用于將該特征向量的數(shù)個(gè)元素設(shè)為零以產(chǎn)生稀疏特征向量的程序代碼。稀疏特征向量具有與所生成的特征向量相同的維度。稀疏特征向量還包括比所生成的特征向量更少的非零元素。該程序代碼進(jìn)一步包括用于將稀疏特征向量轉(zhuǎn)發(fā)給分類(lèi)器以對(duì)輸入進(jìn)行分類(lèi)的程序代碼。

本公開(kāi)的附加特征和優(yōu)點(diǎn)將在下文描述。本領(lǐng)域技術(shù)人員應(yīng)當(dāng)領(lǐng)會(huì)，本公開(kāi)可容易地被用作修改或設(shè)計(jì)用于實(shí)施與本公開(kāi)相同的目的的其他結(jié)構(gòu)的基礎(chǔ)。本領(lǐng)域技術(shù)人員還應(yīng)認(rèn)識(shí)到，這樣的等效構(gòu)造并不脫離所附權(quán)利要求中所闡述的本公開(kāi)的教導(dǎo)。被認(rèn)為是本公開(kāi)的特性的新穎特征在其組織和操作方法兩方面連同進(jìn)一步的目的和優(yōu)點(diǎn)在結(jié)合附圖來(lái)考慮以下描述時(shí)將被更好地理解。然而，要清楚理解的是，提供每一幅附圖均僅用于解說(shuō)和描述目的，且無(wú)意作為對(duì)本公開(kāi)的限定的定義。

附圖簡(jiǎn)述

在結(jié)合附圖理解下面闡述的詳細(xì)描述時(shí)，本公開(kāi)的特征、本質(zhì)和優(yōu)點(diǎn)將變得更加明顯，在附圖中，相同附圖標(biāo)記始終作相應(yīng)標(biāo)識(shí)。

圖1解說(shuō)了根據(jù)本公開(kāi)的某些方面的使用片上系統(tǒng)(SOC)(包括通用處理器)來(lái)設(shè)計(jì)神經(jīng)網(wǎng)絡(luò)的示例實(shí)現(xiàn)。

圖2解說(shuō)了根據(jù)本公開(kāi)的各方面的系統(tǒng)的示例實(shí)現(xiàn)。

圖3A是解說(shuō)根據(jù)本公開(kāi)的各方面的神經(jīng)網(wǎng)絡(luò)的示圖。