[發(fā)明專利]視頻屬性表示學(xué)習(xí)方法及視頻文字描述自動生成方法

有效

• 申請?zhí)枺?/td>: 201710505206.3
• 申請日: 2017-06-28
• 公開（公告）號: CN107239801B
• 公開（公告）日: 2020-07-28
• 發(fā)明（設(shè)計(jì)）人: 李騰;年福東;李飛鳳
• 申請（專利權(quán)）人: 安徽大學(xué);淮南聯(lián)合大學(xué)
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06K9/00
• 代理公司: 合肥市浩智運(yùn)專利代理事務(wù)所(普通合伙) 34124
• 代理人: 丁瑞瑞

1.一種視頻屬性表示學(xué)習(xí)方法，用于提取可用于視頻文字描述自動生成的視頻語義信息，其特征在于，包括下述步驟：

步驟1)收集一批數(shù)據(jù)用于視頻文字自動描述算法的訓(xùn)練與測試，數(shù)據(jù)要求每個視頻對應(yīng)幾句對應(yīng)的文字描述；

步驟2)定義訓(xùn)練集中的文字描述內(nèi)容中出現(xiàn)的所有的名詞、動詞、和形容詞作為對應(yīng)視頻的屬性標(biāo)注信息，則訓(xùn)練集中的每個視頻都對應(yīng)多個屬性標(biāo)簽，因此視頻的屬性表示學(xué)習(xí)即看作視頻的多分類問題；

步驟3)將一段視頻序列表示為單幅圖像，從而將復(fù)雜困難的視頻序列多分類問題轉(zhuǎn)化為較為簡單的單幅圖片多標(biāo)簽分類問題，具體為：

首先在一個大規(guī)模圖片分類數(shù)據(jù)集上訓(xùn)練一個深度卷積神經(jīng)網(wǎng)絡(luò)用于提取單幅圖片特征，即訓(xùn)練一個映射函數(shù)H(k)，其中k是輸入圖像，若此深度卷積神經(jīng)網(wǎng)絡(luò)的最后一層有d個神經(jīng)元，則圖像k通過映射函數(shù)H(k)會轉(zhuǎn)換為一個d維特征向量，對于訓(xùn)練集中的每一個視頻V，對其平均采樣n幀，則通過映射函數(shù)H(k)會獲得n個d維圖像特征向量{H(k₁)，H(k₂)，...H(k_n)}，根據(jù)這n個向量構(gòu)建一個d×n維的圖像，此圖像每一列即是輸入視頻的一個采樣幀的特征H(k_*)，每一行都代表了對應(yīng)圖像特征維度在視頻時序中的信息，將此d×n維的圖像稱之為視頻響應(yīng)圖像(VRM)；

在訓(xùn)練集中的每一個視頻都轉(zhuǎn)化為一幅視頻響應(yīng)圖像之后，步驟2)中復(fù)雜的視頻多標(biāo)簽分類問題即轉(zhuǎn)變?yōu)橐曨l響應(yīng)圖像的多標(biāo)簽分類問題，訓(xùn)練一個視頻屬性表示向量提取網(wǎng)絡(luò)，在訓(xùn)練完成之后，取視頻屬性表示向量提取網(wǎng)絡(luò)的最后一層作為視頻響應(yīng)圖像對應(yīng)視頻的屬性表示向量，記為F_att(V)。

2.根據(jù)權(quán)利要求1所述的一種視頻屬性表示學(xué)習(xí)方法，其特征在于，所述步驟3)中，采用基于交叉熵?fù)p失函數(shù)的卷積神經(jīng)網(wǎng)絡(luò)根據(jù)視頻響應(yīng)圖像訓(xùn)練一個視頻屬性表示向量提取網(wǎng)絡(luò)。

3.根據(jù)權(quán)利要求1所述的一種視頻屬性表示學(xué)習(xí)方法，其特征在于，所述步驟1)中，將數(shù)據(jù)集按照9:1的比例分為訓(xùn)練集和測試集。

4.一種基于權(quán)利要求1至3任一項(xiàng)所述的視頻屬性表示學(xué)習(xí)方法的視頻文字描述自動生成方法，用于將上述經(jīng)過視頻屬性表示學(xué)習(xí)方法提取到的視頻語義信息與現(xiàn)有視頻文字描述自動生成編解碼模型融合，最終生成文字描述，具體包括下述步驟：

步驟1、首先在一個大規(guī)模圖像單標(biāo)簽分類數(shù)據(jù)集上訓(xùn)練一個通用的圖像視覺特征提取網(wǎng)絡(luò)；

步驟2、收集用于視頻文字描述自動生成的數(shù)據(jù)集，即每一個視頻對應(yīng)一組文字描述，依據(jù)所述視頻屬性表示學(xué)習(xí)方法得到視頻的屬性表示向量，記為F_att(V)；

步驟3、融合視頻幀視覺特征與視頻屬性特征；

步驟4、將融合視頻屬性特征與采樣幀視覺特征的所有向量計(jì)算完成之后作為語言解碼模型的輸入，通過在訓(xùn)練集中訓(xùn)練即可獲得視頻文字描述自動生成的模型；

步驟5、在訓(xùn)練集中訓(xùn)練完成后，將測試集中的視頻按照訓(xùn)練集中的處理方式做預(yù)處理提取特征之后送入步驟4中的視頻文字自動描述生成模型，即自動生成文字描述。

5.根據(jù)權(quán)利要求4所述的一種視頻文字描述自動生成方法，其特征在于，所述步驟3進(jìn)一步具體為：

在視頻特征編碼階段，每一采樣幀對應(yīng)的視頻編碼特征除了接受每一個視頻采樣幀的視覺特征F(I)之外，需同時接受視頻的屬性表示向量F_att(V)，對于t時刻視頻編碼特征x_t，其有一半的維度接受整個視頻屬性特征F_att(V)的映射，另一半維度接受當(dāng)前時刻對應(yīng)的視頻采樣幀的特征F(I)的映射，即：

其中W₁和W₂是需要學(xué)習(xí)的映射權(quán)重。