[發明專利]一種視頻識別方法、裝置及存儲介質

有效

• 申請號: 201910218314.1
• 申請日: 2019-03-21
• 公開（公告）號: CN109961041B
• 公開（公告）日: 2021-03-23
• 發明（設計）人: 王柏瑞;馬林;劉威
• 申請（專利權）人: 騰訊科技（深圳）有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62;G06N3/04
• 代理公司: 深圳翼盛智成知識產權事務所(普通合伙) 44300
• 代理人: 黃威

本發明實施例公開了一種視頻識別方法、裝置及存儲介質；本發明實施例可以獲取待識別視頻，所述待識別視頻包括多幀圖像；提取所述待識別視頻中每一幀圖像的多個局部特征；根據每一幀圖像中各個局部特征的權重，對每一幀圖像中的局部特征進行整合，得到每一幀圖像的局部特征序列；根據每一幀圖像的局部特征序列、以及所述待識別視頻中圖像的時序特征，對所述待識別視頻進行內容識別，得到所述待識別視頻的視頻內容描述。該方案可以提高視頻內容描述的準確率。

技術領域

本發明涉及圖像處理領域，具體涉及一種視頻識別方法、裝置及存儲介質。

背景技術

視頻內容描述的目的是從視頻信息中學習到視頻中包含的語義信息，并用自然語言描述出來。它在許多領域具有廣泛的應用價值，如基于語義內容的視頻檢索和視頻標注、描述性的視頻服務、盲人導航和自動化視頻監控等。近年來，伴隨互聯網與多媒體等技術的飛速發展，視覺數據的數量呈指數級的增長，從視覺信息中學習到語義信息的技術已經逐漸成為一種新的需求。

目前從單幅圖像中學習到語義信息的技術已經日益成熟，但相對于圖像而言，視頻中包含有更加復雜的目標、場景和行為，這對學習視頻中的語義信息提出了更高的要求，我們迫切需要一種能夠生成表征視頻內容且符合語言規范的句子的視頻描述方法，現有的視頻內容描述模型對于視頻內容描述的準確率還有待提高。

發明內容

本發明實施例提供一種視頻識別方法、裝置及存儲介質，可以提高視頻內容描述的準確率。

本發明實施例提供一種視頻識別方法，包括：

獲取待識別視頻，所述待識別視頻包括多幀圖像；

提取所述待識別視頻中每一幀圖像的多個局部特征；

根據每一幀圖像中各個局部特征的權重，對每一幀圖像中的局部特征進行整合，得到每一幀圖像的局部特征序列；

根據每一幀圖像的局部特征序列、以及所述待識別視頻中圖像的時序特征，對所述待識別視頻進行內容識別，得到所述待識別視頻的視頻內容描述。

相應的，本發明實施例還提供一種視頻識別裝置，包括第一獲取單元、第一提取單元、第一整合單元和第一識別單元，如下：

第一獲取單元，用于獲取待識別視頻，所述待識別視頻包括多幀圖像；

第一提取單元，用于提取所述待識別視頻中每一幀圖像的多個局部特征；

第一整合單元，用于根據每一幀圖像中各個局部特征的權重，對每一幀圖像中的局部特征進行整合，得到每一幀圖像的局部特征序列；

第一識別單元，用于根據每一幀圖像的局部特征序列、以及所述待識別視頻中圖像的時序特征，對所述待識別視頻進行內容識別，得到所述待識別視頻的視頻內容描述。

可選的，在一些實施例中，所述第一識別單元可以包括整合子單元和識別子單元，如下：

整合子單元，用于根據每一幀圖像的局部特征序列的權重，對所述待識別視頻中每一幀圖像的局部特征序列進行整合，得到整合后的局部特征序列；

識別子單元，用于基于視頻識別網絡模型根據所述整合后的局部特征序列以及所述時序特征，對所述待識別視頻進行內容識別，得到所述待識別視頻的視頻內容描述，其中，所述視頻識別網絡模型基于視頻樣本訓練而成。

可選的，在一些實施例中，所述整合子單元具體用于：

獲取第一識別時刻對應的隱藏特征，所述第一識別時刻對應的隱藏特征由所述第一識別時刻對應的整合后的局部特征序列按照時序輸入解碼長短期記憶單元時產生；