[發(fā)明專利]用于檢索視頻時(shí)間段的方法、系統(tǒng)和計(jì)算機(jī)系統(tǒng)

有效

• 申請(qǐng)?zhí)枺?/td>: 201980006115.2
• 申請(qǐng)日: 2019-03-21
• 公開(kāi)（公告）號(hào): CN111433784B
• 公開(kāi)（公告）日: 2022-10-21
• 發(fā)明（設(shè)計(jì)）人: 蕭人豪;何朝文
• 申請(qǐng)（專利權(quán)）人: OPPO廣東移動(dòng)通信有限公司
• 主分類號(hào): G06F16/732
• 分類號(hào): G06F16/732;G06F16/783;G06N3/04;G06N3/08;G06V10/764;G06V10/82;G06V20/40
• 代理公司: 廣州三環(huán)專利商標(biāo)代理有限公司 44202
• 代理人: 熊永強(qiáng)

1.一種檢索視頻時(shí)間段的方法，包括：

分析視頻以獲得所述視頻的幀特征信息；

將所述幀特征信息輸入編碼器以輸出與所述視頻的時(shí)間信息相關(guān)的第一數(shù)據(jù)；

將所述第一數(shù)據(jù)和用于檢索所述視頻的視頻時(shí)間段的檢索描述輸入解碼器，以輸出第二數(shù)據(jù)；

根據(jù)所述第一數(shù)據(jù)和所述第二數(shù)據(jù)執(zhí)行注意力計(jì)算訓(xùn)練，包括：將所述第一數(shù)據(jù)和所述第二數(shù)據(jù)輸入注意力層發(fā)生器，所述注意力層發(fā)生器連接至所述編碼器和所述解碼器；對(duì)于所述視頻的每個(gè)視頻時(shí)間段，基于每個(gè)視頻時(shí)間段與所述檢索描述中包含的每個(gè)描述項(xiàng)之間的相關(guān)性，在所述注意力層發(fā)生器獲得時(shí)間注意力權(quán)重?cái)?shù)據(jù)；基于所述第一數(shù)據(jù)和所述時(shí)間注意力權(quán)重?cái)?shù)據(jù)，在所述注意力層發(fā)生器獲得加權(quán)平均數(shù)據(jù)，并將所述加權(quán)平均數(shù)據(jù)輸出到全連接層發(fā)生器，所述全連接層發(fā)生器連接至所述注意力層發(fā)生器和所述解碼器；以及基于所述加權(quán)平均數(shù)據(jù)和所述第二數(shù)據(jù)，在所述全連接層發(fā)生器獲得最終注意力數(shù)據(jù)，并將所述最終注意力數(shù)據(jù)輸出到解碼器；

根據(jù)所述注意力計(jì)算訓(xùn)練確定所述視頻的與所述檢索描述對(duì)應(yīng)的視頻時(shí)間段。

2.根據(jù)權(quán)利要求1所述的方法，其中，如下獲得所述時(shí)間注意力權(quán)重?cái)?shù)據(jù)：

score(h_t,h_s)＝h_t^TWh_s

其中，h_s表示所述第一數(shù)據(jù)，h_t表示所述第二數(shù)據(jù)，W表示用于生成非標(biāo)準(zhǔn)化時(shí)間分?jǐn)?shù)的權(quán)重矩陣，α_ts表示所述時(shí)間注意力權(quán)重?cái)?shù)據(jù)；h_s和h_t基于時(shí)間步來(lái)計(jì)算；在編碼器側(cè)，一個(gè)時(shí)間步是指輸入或讀取一個(gè)視頻幀、視頻剪輯或視頻片段；在解碼器側(cè)，一個(gè)時(shí)間步是指輸入或讀取一個(gè)字或字的序列；T表示轉(zhuǎn)置符號(hào)。

3.根據(jù)權(quán)利要求2所述的方法，其中，如下獲得所述加權(quán)平均數(shù)據(jù)：

其中，c_t表示所述加權(quán)平均數(shù)據(jù)。

4.根據(jù)權(quán)利要求3所述的方法，其中，如下獲得所述最終注意力數(shù)據(jù)：

a_t＝tanh(W_e[c_t；h_t])

其中，a_t表示最終注意力數(shù)據(jù)，W_c表示用于生成a_t的權(quán)重矩陣。

5.根據(jù)權(quán)利要求2所述的方法，其中，所述根據(jù)所述注意力計(jì)算訓(xùn)練確定所述視頻的與所述檢索描述對(duì)應(yīng)的視頻時(shí)間段包括：

對(duì)于所述視頻的每個(gè)視頻時(shí)間段，將與所述檢索描述中包含的所有描述項(xiàng)相關(guān)的所有時(shí)間注意力權(quán)重相加；以及

將總時(shí)間注意力權(quán)重大于閾值的視頻時(shí)間段確定為檢索到的視頻時(shí)間段。

6.根據(jù)權(quán)利要求1所述的方法，其中，所述第一數(shù)據(jù)表示所述編碼器的當(dāng)前狀態(tài)向量表示，所述第二數(shù)據(jù)表示所述解碼器的當(dāng)前目標(biāo)隱藏狀態(tài)向量表示。

7.根據(jù)權(quán)利要求1所述的方法，其中，所述分析視頻以獲得所述視頻的幀特征信息包括：

將所述視頻分成視頻時(shí)間段；

將所述視頻時(shí)間段輸入包括多個(gè)層的卷積神經(jīng)網(wǎng)絡(luò)CNN；以及

從所述CNN提取特征作為所述視頻的所述幀特征信息。

8.根據(jù)權(quán)利要求1所述的方法，其中，所述檢索描述是文本輸入或能夠轉(zhuǎn)換成文本的語(yǔ)音輸入。

9.根據(jù)權(quán)利要求1所述的方法，其中，所述編碼器是用堆疊循環(huán)神經(jīng)網(wǎng)絡(luò)RNN實(shí)現(xiàn)的，并且所述解碼器是用另一堆疊循環(huán)RNN實(shí)現(xiàn)的。