[發(fā)明專利]基于自然語(yǔ)言描述的視頻監(jiān)控行人搜索的注意力模型方法

有效

• 申請(qǐng)?zhí)枺?/td>: 201810844117.6
• 申請(qǐng)日: 2018-07-27
• 公開（公告）號(hào): CN109190471B
• 公開（公告）日: 2021-07-13
• 發(fā)明（設(shè)計(jì)）人: 冀中;李晟嘉
• 申請(qǐng)（專利權(quán)）人: 天津大學(xué)
• 主分類號(hào): G06K9/00
• 分類號(hào): G06K9/00;G06K9/62
• 代理公司: 天津市北洋有限責(zé)任專利代理事務(wù)所 12201
• 代理人: 杜文茹

1.一種基于自然語(yǔ)言描述的視頻監(jiān)控行人搜索的注意力模型方法，其特征在于，包括如下步驟：

1)設(shè)由卷積神經(jīng)網(wǎng)絡(luò)提取的第n張圖像特征向量為I_n；第n張圖像對(duì)應(yīng)的自然語(yǔ)言描述中含有若干個(gè)單詞；第k個(gè)單詞的文本特征向量為圖像特征向量I_n和文本特征向量融合得到的融合向量為

2)將所述的融合向量輸入到全連接層中進(jìn)行訓(xùn)練，得到向量即：

其中，為融合向量的權(quán)重矩陣，為圖像特征向量I_n和文本特征向量所對(duì)應(yīng)的融合向量的偏置向量；

3)將向量輸入神經(jīng)網(wǎng)絡(luò)的Softmax層中進(jìn)行歸一化，并計(jì)算權(quán)重值S_n，將所有權(quán)重值作為元素構(gòu)成注意力向量即：

其中，注意力向量中共有j個(gè)元素x_j，為注意力向量中第i個(gè)元素的權(quán)重；

4)將第k個(gè)單詞的文本特征向量為輸入到全連接層中進(jìn)行訓(xùn)練，得到向量即：

其中，為第n張圖像和第k個(gè)單詞對(duì)應(yīng)的文本特征向量的權(quán)重矩陣，為第n張圖像和第k個(gè)單詞對(duì)應(yīng)的文本特征向量的偏置向量；

5)將向量輸入神經(jīng)網(wǎng)絡(luò)的Softmax層中進(jìn)行歸一化，并計(jì)算權(quán)重值TS_n，將所有權(quán)重值作為元素構(gòu)成注意力向量即

其中，注意力向量中共有j個(gè)元素z_j，為注意力向量中第i個(gè)元素的權(quán)重；

6)將注意力向量與文本特征向量進(jìn)行內(nèi)積運(yùn)算，得到經(jīng)過注意力向量加權(quán)的標(biāo)量分?jǐn)?shù)--文本的重要程度即：

7)將注意力向量與第k個(gè)單詞的圖像特征向量進(jìn)行內(nèi)積運(yùn)算，得到經(jīng)過注意力向量加權(quán)的標(biāo)量分?jǐn)?shù)--文本與圖像之間的聯(lián)系程度即：

8)將聯(lián)系程度與重要程度進(jìn)行乘積運(yùn)算，得到注意力評(píng)價(jià)分?jǐn)?shù)Sco，即：

其中，注意力評(píng)價(jià)分?jǐn)?shù)是用于表示文本中每個(gè)單詞與圖像的相關(guān)程度，分?jǐn)?shù)越大，則每個(gè)單詞與圖像的相關(guān)程度越高。