[發(fā)明專利]一種基于全卷積網(wǎng)絡(luò)的視頻關(guān)鍵幀提取方法

有效

• 申請?zhí)枺?/td>: 202010789819.6
• 申請日: 2020-08-07
• 公開（公告）號: CN112016406B
• 公開（公告）日: 2022-12-02
• 發(fā)明（設(shè)計(jì)）人: 劉云;馬瑞迪;李輝;薛盼盼;崔雪紅
• 申請（專利權(quán)）人: 青島科技大學(xué)
• 主分類號: G06V20/40
• 分類號: G06V20/40;G06V10/44;G06V10/764;G06V10/82;G06N3/04;G06N3/08
• 代理公司: 青島聯(lián)智專利商標(biāo)事務(wù)所有限公司 37101
• 代理人: 李升娟

本發(fā)明公開了一種基于全卷積網(wǎng)絡(luò)的視頻關(guān)鍵幀提取方法，所述方法包括：將原始視頻輸入到預(yù)訓(xùn)練的卷積網(wǎng)絡(luò)中進(jìn)行特征提取，輸出特征向量X；將所述特征向量X輸入交叉注意力模塊，經(jīng)過關(guān)聯(lián)操作和聚合操作，輸出特征向量H'；將所述特征向量H'和所述卷積網(wǎng)絡(luò)的低層網(wǎng)絡(luò)的輸出特征向量F同時輸入通道注意力模塊，輸出特征向量H；利用解碼器對所述特征向量H進(jìn)行特征重建，獲得最終重建特征，并基于所述最終重建特征獲取視頻幀，確定為視頻關(guān)鍵幀。應(yīng)用本發(fā)明，能提高提取視頻關(guān)鍵幀的精確度。

技術(shù)領(lǐng)域

本發(fā)明屬于視覺處理技術(shù)領(lǐng)域，具體地說，是涉及視頻關(guān)鍵幀提取技術(shù)，更具體地說，是涉及基于全卷積網(wǎng)絡(luò)的視頻關(guān)鍵幀提取方法。

背景技術(shù)

隨著視頻采集設(shè)備的日益普及和成本的不斷降低，近幾年來視頻數(shù)據(jù)量急劇增加，視頻已經(jīng)成為最重要的視覺數(shù)據(jù)形式之一。由于視頻數(shù)據(jù)量巨大，人類觀看這些視頻并識別有用信息是不現(xiàn)實(shí)的。根據(jù)思科2017年視覺網(wǎng)絡(luò)指數(shù)，預(yù)計(jì)到2021年，每個人每月要觀看上傳到互聯(lián)網(wǎng)上的所有視頻，大約需要500萬年。因此，開發(fā)能夠高效瀏覽海量視頻數(shù)據(jù)的計(jì)算機(jī)視覺技術(shù)變得越來越重要。

視頻摘要作為一種有前途的工具，有助于處理大量的視頻數(shù)據(jù)。給定一個輸入視頻，視頻摘要的目標(biāo)是創(chuàng)建一個較短的視頻，捕獲輸入視頻的重要信息。視頻摘要在許多實(shí)際應(yīng)用中都很有用，例如，在視頻監(jiān)控中，人們?yōu)g覽監(jiān)控?cái)z像頭拍攝的許多個小時的視頻，既繁瑣又費(fèi)時，如果能提供一個簡短的摘要視頻，從長視頻中捕捉重要信息，這將大大降低視頻監(jiān)控所需的人力資源。視頻摘要還可以在視頻搜索、檢索和理解方面提供更好的用戶體驗(yàn)。由于短視頻更易于存儲和傳輸，因此它們對移動應(yīng)用程序非常有用。摘要視頻還可以幫助許多下游視頻分析任務(wù)，例如，在短視頻上運(yùn)行任何其他分析算法(如動作識別)都更快。

視頻摘要的核心工作是提取視頻關(guān)鍵幀。現(xiàn)有技術(shù)中，通常將關(guān)鍵幀提取看作是一個序列標(biāo)記問題，其中每個幀被分配一個二進(jìn)制標(biāo)簽來指示它是否在摘要視頻中被選擇；然后使用LSTM(長短期記憶網(wǎng)絡(luò))或其變體來解決該問題。優(yōu)點(diǎn)是LSTM能夠捕獲幀間的長距離結(jié)構(gòu)依賴關(guān)系；缺點(diǎn)是LSTM中的計(jì)算通常是左偏右的。這意味著必須一次處理一個幀，并且每個幀必須等到前一幀處理完成之后，才能處理。一些方法使用雙向LSTM(BiLSTM)解決該問題，但雙向LSTM的任何一個方向的計(jì)算仍然存在相同的問題，并且大大增加計(jì)算量。在此基礎(chǔ)上，現(xiàn)有技術(shù)出現(xiàn)了同時處理所有幀的全卷積網(wǎng)絡(luò)模型。簡單來說，全卷積網(wǎng)絡(luò)指的是不存在全連接層的網(wǎng)絡(luò)模型。采用全卷積網(wǎng)絡(luò)模型提取視頻關(guān)鍵幀，在一定程度上簡化了網(wǎng)絡(luò)模型結(jié)構(gòu)，提高了運(yùn)行速度。

但是，現(xiàn)有采用全卷積網(wǎng)絡(luò)提取視頻關(guān)鍵幀的技術(shù)，忽視了視頻幀之間的長距離依賴關(guān)系，不能充分利用上下文信息，影響視頻關(guān)鍵幀的提取精確度，進(jìn)而降低了基于視頻關(guān)鍵幀形成的視頻摘要的準(zhǔn)確性。

發(fā)明內(nèi)容

本發(fā)明的目的是提供一種基于全卷積網(wǎng)絡(luò)的視頻關(guān)鍵幀的提取方法，提高提取關(guān)鍵幀的精確度。

為實(shí)現(xiàn)上述發(fā)明目的，本發(fā)明采用下述技術(shù)方案予以實(shí)現(xiàn)：

一種基于全卷積網(wǎng)絡(luò)的視頻關(guān)鍵幀提取方法，包括：

將原始視頻輸入到預(yù)訓(xùn)練的卷積網(wǎng)絡(luò)中進(jìn)行特征提取，輸出特征向量X；所述卷積網(wǎng)絡(luò)中不具有全連接層；

將所述特征向量X輸入交叉注意力模塊，經(jīng)過關(guān)聯(lián)操作和聚合操作，輸出特征向量H'；

將所述特征向量H'和所述卷積網(wǎng)絡(luò)的低層網(wǎng)絡(luò)的輸出特征向量F同時輸入通道注意力模塊，輸出特征向量H；

利用解碼器對所述特征向量H進(jìn)行特征重建，獲得最終重建特征，并基于所述最終重建特征獲取視頻幀，確定為視頻關(guān)鍵幀；所述解碼器采用轉(zhuǎn)置卷積層實(shí)現(xiàn)。

如上所述的方法，所述卷積網(wǎng)絡(luò)為殘差網(wǎng)絡(luò)，所述殘差網(wǎng)絡(luò)的最后一層為1*1的卷積層，所述殘差網(wǎng)絡(luò)中的部分卷積層為空洞卷積層。