[發(fā)明專利]一種基于圖卷積神經(jīng)網(wǎng)絡(luò)的視頻描述方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202110295594.3
• 申請(qǐng)日: 2021-03-19
• 公開（公告）號(hào): CN113011334A
• 公開（公告）日: 2021-06-22
• 發(fā)明（設(shè)計(jì)）人: 宮曉東;楊光;孟憲菊;梅海藝
• 申請(qǐng)（專利權(quán)）人: 北京岐黃中醫(yī)藥文化發(fā)展基金會(huì)
• 主分類號(hào): G06K9/00
• 分類號(hào): G06K9/00;G06N3/04;G06N3/08
• 代理公司: 北京律譜知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11457
• 代理人: 黃云鐸

1.一種基于圖卷積神經(jīng)網(wǎng)絡(luò)的視頻描述方法，其特征在于，所述方法包括：

步驟1，根據(jù)采樣間隔，提取視頻片段中的視頻幀，記作樣本視頻幀，分別提取所述樣本視頻幀中的場(chǎng)景特征向量和對(duì)象特征向量；

步驟2，根據(jù)縮放向量和逐點(diǎn)乘積運(yùn)算，對(duì)所述場(chǎng)景特征向量和所述對(duì)象特征向量進(jìn)行特征增強(qiáng)，并根據(jù)增強(qiáng)后的場(chǎng)景特征向量和增強(qiáng)后的對(duì)象特征向量進(jìn)行特征融合，記作融合特征向量；

步驟3，利用語(yǔ)言模型LSTM，對(duì)所述融合特征向量進(jìn)行視頻描述。

2.如權(quán)利要求1所述的基于圖卷積神經(jīng)網(wǎng)絡(luò)的視頻描述方法，其特征在于，所述步驟1中，提取所述樣本視頻幀中的場(chǎng)景特征向量，具體包括：

步驟11，將所述樣本視頻幀輸入至CNN網(wǎng)絡(luò)進(jìn)行特征提取運(yùn)算，將所述CNN網(wǎng)絡(luò)最后一層池化層的輸出記作高維特征圖；

步驟12，對(duì)所述高維特征圖進(jìn)行二維平均池化操作，將池化結(jié)果記作第一特征向量；

步驟13，將所述第一特征向量輸入至幀GCN網(wǎng)絡(luò)進(jìn)行編碼和嵌入操作，生成所述場(chǎng)景特征向量。

3.如權(quán)利要求2所述的基于圖卷積神經(jīng)網(wǎng)絡(luò)的視頻描述方法，其特征在于，所述步驟1中，提取所述樣本視頻幀中的對(duì)象特征向量，具體包括：

步驟14，將所述樣本視頻幀輸入至目標(biāo)檢測(cè)模型，利用非極大值抑制方法，對(duì)所述樣本視頻幀中的區(qū)域進(jìn)行篩選，確定物體對(duì)象的區(qū)域位置，記作對(duì)象區(qū)域；

步驟15，將所述對(duì)象區(qū)域與所述高維特征圖進(jìn)行區(qū)域?qū)?yīng)，并對(duì)所述對(duì)象區(qū)域進(jìn)行剪裁和ROIAlign操作，生成第二特征向量；

步驟16，對(duì)所述第二特征向量進(jìn)行二維平均池化操作，生成第三特征向量；

步驟17，將所述第三特征向量輸入至區(qū)域GCN網(wǎng)絡(luò)進(jìn)行編碼和嵌入操作，生成所述對(duì)象特征向量。

4.如權(quán)利要求2所述的基于圖卷積神經(jīng)網(wǎng)絡(luò)的視頻描述方法，其特征在于，所述步驟13，具體包括：

步驟131，對(duì)所述第一特征向量進(jìn)行線性變換，并計(jì)算線性變換后第一特征向量中各行向量之間的第一行向量關(guān)系，并根據(jù)所述第一行向量關(guān)系，確定第一圖矩陣，其中，所述第一圖矩陣G的計(jì)算公式為：

φ(x_i)＝W′x_i+b

式中，F(xiàn)(x_i,x_j)為線性變換后第一特征向量中第i行行向量x_i與第j行行向量x_j之間的第一行向量關(guān)系，φ(·)為行線性變換函數(shù)，W′為第一可學(xué)習(xí)參數(shù)矩陣，b為可學(xué)習(xí)偏執(zhí)系數(shù)；

步驟132，根據(jù)第二學(xué)習(xí)參數(shù)矩陣，對(duì)所述第一特征向量X進(jìn)行線性空間變換，利用所述第一圖矩陣G對(duì)線性空間變換后的第一特征向量進(jìn)行特征嵌入，生成所述場(chǎng)景特征向量，對(duì)應(yīng)的計(jì)算公式為：

Y＝GXW

式中，Y為所述場(chǎng)景特征向量，W為所述第二學(xué)習(xí)參數(shù)矩陣，X為所述第一特征向量。

5.如權(quán)利要求3所述的基于圖卷積神經(jīng)網(wǎng)絡(luò)的視頻描述方法，其特征在于，所述步驟17，具體包括：

步驟171，對(duì)所述第三特征向量進(jìn)行線性變換，并計(jì)算線性變換后第三特征向量中各行向量之間的第二行向量關(guān)系，并根據(jù)所述第二行向量關(guān)系，確定第二圖矩陣；

步驟172，根據(jù)第三學(xué)習(xí)參數(shù)矩陣，對(duì)所述第三特征向量進(jìn)行線性空間變換，利用所述第二圖矩陣對(duì)線性空間變換后的第三特征向量進(jìn)行特征嵌入，生成所述對(duì)象特征向量。

6.如權(quán)利要求1所述的基于圖卷積神經(jīng)網(wǎng)絡(luò)的視頻描述方法，其特征在于，所述步驟2之前，還包括：

分別對(duì)所述場(chǎng)景特征向量和所述對(duì)象特征向量進(jìn)行一維平均池化操作。