[發(fā)明專利]檢索方法、裝置及設(shè)備

有效

• 申請?zhí)枺?/td>: 201810050775.8
• 申請日: 2018-01-18
• 公開（公告）號: CN108304506B
• 公開（公告）日: 2022-08-26
• 發(fā)明（設(shè)計(jì)）人: 陳靜遠(yuǎn);陳新鵬;馬林;王景文;劉威
• 申請（專利權(quán)）人: 騰訊科技（深圳）有限公司
• 主分類號: G06F16/732
• 分類號: G06F16/732;G06F16/783;G06F16/9032;G06N3/04
• 代理公司: 北京三高永信知識產(chǎn)權(quán)代理有限責(zé)任公司 11138
• 代理人: 劉映東

1.一種檢索方法，其特征在于，所述方法包括：

獲取給定的視頻和自然語言描述語句，所述自然語言描述語句為描述所述給定的視頻中的視頻內(nèi)容的語句；

采用第一循環(huán)神經(jīng)網(wǎng)絡(luò)提取所述給定的視頻中包含的各個視頻幀的特征表示；

采用第二循環(huán)神經(jīng)網(wǎng)絡(luò)提取所述自然語言描述語句中包含的各個單詞的特征表示；

對于各個視頻幀中的每個視頻幀，根據(jù)所述每個視頻幀的特征表示和各個所述單詞的特征表示，采用注意力機(jī)制計(jì)算所述自然語言描述語句中各個所述單詞對應(yīng)的注意力權(quán)重，在各個所述單詞對應(yīng)的注意力權(quán)重的基礎(chǔ)上對所有單詞進(jìn)行加權(quán)求和，得到整個所述自然語言描述語句相對于所述每個視頻幀的動態(tài)特征表示；

分別將所述每個視頻幀的特征表示及所述自然語言描述語句相對于所述每個視頻幀的動態(tài)特征表示輸入至第三循環(huán)神經(jīng)網(wǎng)絡(luò)，得到所述每個視頻幀與所述自然語言描述語句之間的匹配程度；

按照下述公式計(jì)算與第t個視頻幀相關(guān)的至少一個視頻幀序列與所述自然語言描述語句之間的相似度S_t：

其中，矩陣W^K和偏差向量為模型參數(shù)，是所述第三循環(huán)神經(jīng)網(wǎng)絡(luò)的隱藏層向量，并且代表所述第t個視頻幀與所述自然語言描述語句之間的匹配程度，所述與第t個視頻幀相關(guān)的至少一個視頻幀序列為在所述第t個視頻幀的位置處獲取的至少一個視頻幀序列；

提取與所述自然語言描述語句之間的相似度最高的視頻幀序列作為檢索結(jié)果，所述檢索結(jié)果為所述給定的視頻中的視頻片段。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述方法還包括：

按照下述公式計(jì)算所述自然語言描述語句相對于第t個視頻幀的動態(tài)特征表示

其中，為所述自然語言描述語句中的第n個單詞的特征表示，為相對于所述第t個視頻幀，所述自然語言描述語句中的第n個單詞的注意力權(quán)重，t為大于1的整數(shù)，n為大于1的整數(shù)。

3.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述方法還包括：

按照下述公式計(jì)算所述

其中，向量w、矩陣W^Q、矩陣W^V、矩陣W^R、偏差向量b和偏差向量c為模型參數(shù)，是所述第三循環(huán)神經(jīng)網(wǎng)絡(luò)的隱藏層向量，是所述第t個視頻幀的特征表示。

4.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述分別將所述每個視頻幀的特征表示及所述自然語言描述語句相對于所述每個視頻幀的動態(tài)特征表示輸入至第三循環(huán)神經(jīng)網(wǎng)絡(luò)，得到所述每個視頻幀與所述自然語言描述語句之間的匹配程度，包括：

對于所述每個視頻幀，將所述每個視頻幀的特征表示及所述自然語言描述語句相對于所述每個視頻幀的動態(tài)特征表示進(jìn)行串聯(lián)拼接，得到拼接結(jié)果；

將所述拼接結(jié)果輸入至所述第三循環(huán)神經(jīng)網(wǎng)絡(luò)，得到所述每個視頻幀與所述自然語言描述語句之間的匹配程度。