[發(fā)明專利]漸進(jìn)式特權(quán)信息蒸餾的在線動(dòng)作檢測(cè)方法和系統(tǒng)

在審

• 申請(qǐng)?zhí)枺?/td>: 202111388139.4
• 申請(qǐng)日: 2021-11-22
• 公開(kāi)（公告）號(hào): CN114120189A
• 公開(kāi)（公告）日: 2022-03-01
• 發(fā)明（設(shè)計(jì)）人: 王延峰;趙培森;張小云;張婭
• 申請(qǐng)（專利權(quán)）人: 上海交通大學(xué)
• 主分類號(hào): G06V20/40
• 分類號(hào): G06V20/40;G06V20/70;G06V10/40;G06V10/82;G06N3/04;G06N3/08
• 代理公司: 上海漢聲知識(shí)產(chǎn)權(quán)代理有限公司 31236
• 代理人: 胡晶

本發(fā)明提供了一種漸進(jìn)式特權(quán)信息蒸餾的在線動(dòng)作檢測(cè)方法及系統(tǒng)，包括：步驟S1：對(duì)未經(jīng)裁剪的視頻使用視頻特征提取網(wǎng)絡(luò)進(jìn)行特征提取，得到能夠表達(dá)視頻語(yǔ)義信息的視頻特征序列；步驟S2：截取當(dāng)前時(shí)刻之后不同時(shí)長(zhǎng)的視頻，并利用相應(yīng)的視頻特征序列分別對(duì)多個(gè)不同的離線教師模型進(jìn)行訓(xùn)練；步驟S3：利用提取的視頻特征序列對(duì)在線學(xué)生模型進(jìn)行訓(xùn)練，得到訓(xùn)練后的在線學(xué)生模型；步驟S4：將離線教師模型和在線學(xué)生模型在模型層面的不同層次間進(jìn)行特征對(duì)齊；步驟S5：特征對(duì)齊后，在線學(xué)生模型通過(guò)漸進(jìn)式模型蒸餾的方式向多個(gè)不同的離線教師模型學(xué)習(xí)；步驟S6：利用提取的視頻特征序列根據(jù)蒸餾學(xué)習(xí)后的的在線學(xué)生模型預(yù)測(cè)當(dāng)前時(shí)刻動(dòng)作檢測(cè)的結(jié)果。

技術(shù)領(lǐng)域

本發(fā)明涉及計(jì)算機(jī)視覺(jué)和圖像處理技術(shù)領(lǐng)域，具體地，涉及漸進(jìn)式特權(quán)信息蒸餾的在線動(dòng)作檢測(cè)方法和系統(tǒng)。

背景技術(shù)

隨著傳輸，存儲(chǔ)等技術(shù)的發(fā)展，視頻成為了信息傳遞的重要載體，每天都有數(shù)以億計(jì)的視頻產(chǎn)生。而在線動(dòng)作檢測(cè)任務(wù)，即實(shí)時(shí)地從視頻中定位出動(dòng)作發(fā)生的時(shí)間位置，有著廣泛的應(yīng)用價(jià)值，如實(shí)時(shí)視頻監(jiān)控和自動(dòng)駕駛等。隨著深度學(xué)習(xí)的發(fā)展，在線動(dòng)作檢測(cè)的方法可分為如下幾種。

其一為使用遞歸神經(jīng)網(wǎng)絡(luò)模型來(lái)建模視頻序列，從而輸出對(duì)當(dāng)前時(shí)刻動(dòng)作的判斷。具體地，首先對(duì)視頻數(shù)據(jù)進(jìn)行特征提取得到視頻特征序列，其次使用遞歸神經(jīng)網(wǎng)絡(luò)模型，如LSTM或GRU等，對(duì)視頻特征序列進(jìn)行建模，使其在每一時(shí)刻輸出對(duì)當(dāng)前時(shí)刻動(dòng)作預(yù)測(cè)的判斷。由于在線視頻在時(shí)間尺度上是單向的，遞歸神經(jīng)網(wǎng)絡(luò)模型往往也采用單向的結(jié)構(gòu)。所以其缺點(diǎn)是，對(duì)當(dāng)前時(shí)刻動(dòng)作的判斷只利用了當(dāng)前時(shí)刻以及之前的視頻幀。除用遞歸神經(jīng)網(wǎng)絡(luò)建模在線視頻外，另一種方法則對(duì)當(dāng)前時(shí)刻之后的視頻進(jìn)行預(yù)測(cè)，從而根據(jù)預(yù)測(cè)的結(jié)果，以及觀測(cè)到的視頻數(shù)據(jù)一起對(duì)當(dāng)前時(shí)刻的動(dòng)作進(jìn)行判斷，這類方法則建模了當(dāng)前時(shí)刻以及之后可能發(fā)生事情的隱含關(guān)系，從而提升在線動(dòng)作檢測(cè)模型的性能。

專利文獻(xiàn)CN111050116A(申請(qǐng)?zhí)枺?01910872679.6)公開(kāi)了一種利用時(shí)間遞歸網(wǎng)絡(luò)進(jìn)行在線動(dòng)作檢測(cè)的系統(tǒng)和方法。該方法獲取當(dāng)前時(shí)刻圖像數(shù)據(jù)以及過(guò)去圖像幀，使用遞歸神經(jīng)網(wǎng)絡(luò)建模數(shù)據(jù)，輸出當(dāng)前圖像幀期間至少一個(gè)目標(biāo)導(dǎo)向型動(dòng)作。該方法只建模利用了當(dāng)前時(shí)刻以及之前的圖像內(nèi)容之間的關(guān)系來(lái)進(jìn)行在線動(dòng)作檢測(cè)，其忽略了之后可能發(fā)生事情之間的隱含信息，而這種隱含的信息對(duì)在線動(dòng)作檢測(cè)有著很大的幫助，例如人類在駕駛中做判斷決策時(shí)往往會(huì)預(yù)測(cè)之后可能發(fā)生的事情。

發(fā)明內(nèi)容

針對(duì)現(xiàn)有技術(shù)中的缺陷，本發(fā)明的目的是提供一種漸進(jìn)式特權(quán)信息蒸餾的在線動(dòng)作檢測(cè)方法及系統(tǒng)。

根據(jù)本發(fā)明提供的一種漸進(jìn)式特權(quán)信息蒸餾的在線動(dòng)作檢測(cè)方法，包括：

步驟S1：對(duì)未經(jīng)裁剪的視頻使用視頻特征提取網(wǎng)絡(luò)進(jìn)行特征提取，得到能夠表達(dá)視頻語(yǔ)義信息的視頻特征序列；

步驟S2：截取當(dāng)前時(shí)刻之后不同時(shí)長(zhǎng)的視頻，并利用相應(yīng)的視頻特征序列分別對(duì)多個(gè)不同的離線教師模型進(jìn)行訓(xùn)練；

步驟S3：利用提取的視頻特征序列對(duì)在線學(xué)生模型進(jìn)行訓(xùn)練，得到訓(xùn)練后的在線學(xué)生模型；

步驟S4：將訓(xùn)練后的離線教師模型和訓(xùn)練后的在線學(xué)生模型在模型層面的不同層次間進(jìn)行特征對(duì)齊；

步驟S5：特征對(duì)齊后，在線學(xué)生模型通過(guò)漸進(jìn)式模型蒸餾的方式分別向多個(gè)不同的離線教師模型學(xué)習(xí)；

步驟S6：利用提取的視頻特征序列根據(jù)蒸餾學(xué)習(xí)后的的在線學(xué)生模型預(yù)測(cè)當(dāng)前時(shí)刻動(dòng)作檢測(cè)的結(jié)果。

優(yōu)選地，所述視頻特征提取網(wǎng)絡(luò)采用：利用兩支3D卷積神經(jīng)網(wǎng)絡(luò)分別提取視頻片段的RGB和光流特征，并將提取的RGB和光流特征進(jìn)行拼接；

所述3D卷積神經(jīng)網(wǎng)絡(luò)能夠在視頻時(shí)間方向上連續(xù)的對(duì)每一個(gè)視頻片段提取特征，從而得到視頻的特征序列。

優(yōu)選地，所述離線教師模型采用：