[發(fā)明專利]一種卷積神經(jīng)網(wǎng)絡(luò)輸入層裝置及其工作方法

有效

• 申請?zhí)枺?/td>: 202110273669.8
• 申請日: 2021-03-15
• 公開（公告）號: CN112966813B
• 公開（公告）日: 2023-04-07
• 發(fā)明（設(shè)計）人: 許野平;朱愛紅
• 申請（專利權(quán)）人: 神思電子技術(shù)股份有限公司
• 主分類號: G06N3/0464
• 分類號: G06N3/0464
• 代理公司: 濟(jì)南智本知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 37301
• 代理人: 張平平

本發(fā)明公開了一種卷積神經(jīng)網(wǎng)絡(luò)輸入層裝置及其工作方法，涉及人工智能領(lǐng)域。卷積神經(jīng)網(wǎng)絡(luò)輸入層系統(tǒng)包括若干圖像存儲區(qū)，記作An，圖像變換模塊，記作Bn，每一圖像變換模塊的輸入端和輸出端均與圖像存儲區(qū)相連，每一圖像存儲區(qū)還連接異步卷積層，記作C，異步卷積層的輸出端連接特征層，記作D，特征層連接用于后續(xù)的特征提取和輸出的卷積神經(jīng)網(wǎng)絡(luò)，記作E。本系統(tǒng)通過連續(xù)多幀尺度不同的視頻畫面作為輸入，可顯著壓縮輸入數(shù)據(jù)量，增加輸入的持續(xù)時長，可減少模型訓(xùn)練和預(yù)測時間，提升對持續(xù)時間較長的復(fù)雜行為預(yù)測的準(zhǔn)確性。

技術(shù)領(lǐng)域

本發(fā)明涉及人工智能領(lǐng)域，具體涉及一種卷積神經(jīng)網(wǎng)絡(luò)輸入層裝置及其工作方法。

背景技術(shù)

3D卷積神經(jīng)網(wǎng)絡(luò)模型可以從動態(tài)視頻圖像序列中提取目標(biāo)特征。3D卷積神經(jīng)網(wǎng)絡(luò)工作時，通常利用3D卷積機(jī)制將多幀相同尺寸的視頻圖像積疊成圖像立方體。由于輸入層包含了連續(xù)多幀視頻圖像序列，3D卷積神經(jīng)網(wǎng)絡(luò)模型能夠有效提取視頻數(shù)據(jù)中目標(biāo)的動態(tài)特征。

3D卷積神經(jīng)網(wǎng)絡(luò)模型中，連續(xù)視頻圖像序列中的圖像尺寸完全一樣。事實(shí)上，連續(xù)視頻圖像序列中的圖像在提取目標(biāo)特征過程中所起的作用隨時間推移逐步遞減。因此，3D卷積神經(jīng)網(wǎng)絡(luò)模型采用同規(guī)格多幀圖像做輸入層的方案占用了過多的網(wǎng)絡(luò)數(shù)據(jù)資源。

現(xiàn)有技術(shù)公開了3D卷積神經(jīng)網(wǎng)絡(luò)的動態(tài)視頻圖像目標(biāo)特征提取方法。但是，這類方法存在算法模型的結(jié)構(gòu)性冗余問題，導(dǎo)致訓(xùn)練和預(yù)測計算量較大，運(yùn)行效率低。由于視頻圖像幀所占內(nèi)存空間較大，現(xiàn)有技術(shù)所能接受的連續(xù)視頻幀的數(shù)量非常有限，難以識別持續(xù)時間較長的復(fù)雜行為目標(biāo)。

發(fā)明內(nèi)容

本發(fā)明的目的是針對上述不足，提出了一種卷積神經(jīng)網(wǎng)絡(luò)輸入層系統(tǒng)，通過把多種尺度的圖像拼接在同一幅圖像輸入層中，實(shí)現(xiàn)了用較小的網(wǎng)絡(luò)模型規(guī)模實(shí)現(xiàn)較好的目標(biāo)特征提取。

本發(fā)明具體采用如下技術(shù)方案：

一種卷積神經(jīng)網(wǎng)絡(luò)輸入層系統(tǒng)，包括若干圖像存儲區(qū)，記作An，圖像變換模塊，記作Bn，每一圖像變換模塊的輸入端和輸出端均與圖像存儲區(qū)相連，每一圖像存儲區(qū)還連接異步卷積層，記作C，異步卷積層的輸出端連接特征層，記作D，特征層連接用于后續(xù)的特征提取和輸出的卷積神經(jīng)網(wǎng)絡(luò)，記作E。

優(yōu)選地，卷積神經(jīng)網(wǎng)絡(luò)輸入層系統(tǒng)的工作方法包括如下步驟：

S1、新的視頻幀到來之前，圖像存儲區(qū)An-1存儲的信息經(jīng)圖像變換模塊Bn變換后存放在圖像存儲區(qū)An。

S2、對于異步卷積層C中的任意一個卷積核，在對圖像存儲區(qū)中數(shù)據(jù)做卷積運(yùn)算時，圖像像素的定位原則為圖像A0按照傳統(tǒng)卷積計算方法讀取像素的值；卷積運(yùn)算讀取原始圖像像素P(x,y)的值時，直接從圖像A0的(x,y)位置處讀取像素值，圖像A1、A2、…、An的取值位置根據(jù)圖像變換方法重新定位。

S3、卷積神經(jīng)網(wǎng)絡(luò)E采用傳統(tǒng)卷積神經(jīng)網(wǎng)絡(luò)模型。

優(yōu)選地，依據(jù)S1圖像存儲區(qū)A1圖像經(jīng)圖像變換模塊B2變換后存放在圖像存儲區(qū)A2；圖像存儲區(qū)A0圖像經(jīng)圖像變換模塊B1變換后存放在圖像存儲區(qū)A1；最后，新的視頻幀圖像保存在圖像存儲區(qū)A0。

優(yōu)選地，依據(jù)S2，如果圖像存儲區(qū)的圖像A0、A1、A2、…、An尺寸構(gòu)成公比為r的等比數(shù)列，卷積運(yùn)算讀取原始圖像像素P(x,y)的值時，圖像A0、A1、A2、…、An的取值位置為(int(x*r^i)，int(y*r^i))，其中i＝0，1，2，…，n；當(dāng)r＝1時，本發(fā)明方法退化成傳統(tǒng)3D卷積神經(jīng)網(wǎng)絡(luò)。

本發(fā)明具有如下有益效果：

本發(fā)明通過連續(xù)多幀尺度不同的視頻畫面作為輸入，可顯著壓縮輸入數(shù)據(jù)量，增加輸入的持續(xù)時長，可減少模型訓(xùn)練和預(yù)測時間，提升對持續(xù)時間較長的復(fù)雜行為預(yù)測的準(zhǔn)確性。

附圖說明

圖1為卷積神經(jīng)網(wǎng)絡(luò)輸入層裝置示意圖。