[發(fā)明專利]視頻處理方法、裝置、計(jì)算機(jī)可讀介質(zhì)及電子設(shè)備

有效

• 申請(qǐng)?zhí)枺?/td>: 201810868629.6
• 申請(qǐng)日: 2018-08-02
• 公開（公告）號(hào): CN110209878B
• 公開（公告）日: 2022-09-20
• 發(fā)明（設(shè)計(jì)）人: 馮洋;馬林;劉威;羅杰波
• 申請(qǐng)（專利權(quán)）人: 騰訊科技(深圳)有限公司
• 主分類號(hào): G06F16/783
• 分類號(hào): G06F16/783
• 代理公司: 深圳市聯(lián)鼎知識(shí)產(chǎn)權(quán)代理有限公司 44232
• 代理人: 劉抗美

本發(fā)明的實(shí)施例提供了一種視頻處理方法、裝置、計(jì)算機(jī)可讀介質(zhì)及電子設(shè)備。該視頻處理方法包括：分別提取第一視頻的特征和第二視頻的特征，得到所述第一視頻的第一特征向量和所述第二視頻的第二特征向量；基于注意力機(jī)制對(duì)所述第一特征向量進(jìn)行處理，得到第三特征向量；基于所述第二特征向量和所述第三特征向量進(jìn)行雙線性匹配，以得到匹配結(jié)果；根據(jù)所述匹配結(jié)果在所述第二視頻中定位所述第一視頻。本發(fā)明實(shí)施例的技術(shù)方案在視頻檢索時(shí)能夠精確定位到視頻中的相關(guān)片段，并且能夠提高視頻檢索效率，降低了視頻檢索的難度及視頻檢索所花費(fèi)的時(shí)間。

技術(shù)領(lǐng)域

本發(fā)明涉及計(jì)算機(jī)及通信技術(shù)領(lǐng)域，具體而言，涉及一種視頻處理方法、裝置、計(jì)算機(jī)可讀介質(zhì)及電子設(shè)備。

背景技術(shù)

視頻檢索是從一個(gè)視頻集合中找出與給定的視頻內(nèi)容相關(guān)的視頻，目前的檢索方案通常只能返回查找到的整個(gè)視頻，之后還需要人工觀看視頻來(lái)確定其中的相關(guān)片段，檢索效率較低，同時(shí)相關(guān)技術(shù)中的視頻檢索方案還存在準(zhǔn)確性較差的問(wèn)題。

需要說(shuō)明的是，在上述背景技術(shù)部分公開的信息僅用于加強(qiáng)對(duì)本發(fā)明的背景的理解，因此可以包括不構(gòu)成對(duì)本領(lǐng)域普通技術(shù)人員已知的現(xiàn)有技術(shù)的信息。

發(fā)明內(nèi)容

本發(fā)明的實(shí)施例提供了一種視頻處理方法、裝置、計(jì)算機(jī)可讀介質(zhì)及電子設(shè)備，進(jìn)而至少在一定程度上克服視頻檢索效率較低的問(wèn)題。

本發(fā)明的其他特性和優(yōu)點(diǎn)將通過(guò)下面的詳細(xì)描述變得顯然，或部分地通過(guò)本發(fā)明的實(shí)踐而習(xí)得。

根據(jù)本發(fā)明實(shí)施例的一個(gè)方面，提供了一種視頻處理方法，包括：分別提取第一視頻的特征和第二視頻的特征，得到所述第一視頻的第一特征向量和所述第二視頻的第二特征向量；基于注意力機(jī)制對(duì)所述第一特征向量進(jìn)行處理，得到第三特征向量；基于所述第二特征向量和所述第三特征向量進(jìn)行雙線性匹配，以得到匹配結(jié)果；根據(jù)所述匹配結(jié)果在所述第二視頻中定位所述第一視頻。

根據(jù)本發(fā)明實(shí)施例的一個(gè)方面，提供了一種視頻處理裝置，包括：提取單元，用于分別提取第一視頻的特征和第二視頻的特征，得到所述第一視頻的第一特征向量和所述第二視頻的第二特征向量；第一處理單元，用于基于注意力機(jī)制對(duì)所述第一特征向量進(jìn)行處理，得到第三特征向量；匹配單元，用于基于所述第二特征向量和所述第三特征向量進(jìn)行雙線性匹配，以得到匹配結(jié)果；第二處理單元，用于根據(jù)所述匹配結(jié)果在所述第二視頻中定位所述第一視頻。

在本發(fā)明的一些實(shí)施例中，基于前述方案，所述提取單元配置為：基于三維卷積神經(jīng)網(wǎng)絡(luò)分別提取所述第一視頻的特征和所述第二視頻的特征。

在本發(fā)明的一些實(shí)施例中，基于前述方案，所述提取單元還用于：在基于所述三維卷積神經(jīng)網(wǎng)絡(luò)分別提取所述第一視頻的特征和所述第二視頻的特征之后，對(duì)提取到的所述第一視頻的特征和所述第二視頻的特征進(jìn)行降維處理，以得到所述第一特征向量和所述第二特征向量。

在本發(fā)明的一些實(shí)施例中，基于前述方案，所述第一處理單元包括：第一計(jì)算單元，用于計(jì)算各個(gè)所述第一特征向量與各個(gè)所述第二特征向量之間的相關(guān)性；確定單元，用于基于各個(gè)所述第一特征向量與各個(gè)所述第二特征向量之間的相關(guān)性，確定各個(gè)所述第一特征向量對(duì)應(yīng)的權(quán)重因子；第二計(jì)算單元，用于根據(jù)各個(gè)所述第一特征向量和各個(gè)所述第一特征向量對(duì)應(yīng)的權(quán)重因子，計(jì)算所述第三特征向量。

在本發(fā)明的一些實(shí)施例中，基于前述方案，所述第一計(jì)算單元用于通過(guò)以下公式計(jì)算各個(gè)所述第一特征向量與各個(gè)所述第二特征向量之間的相關(guān)性：

其中，e_i,j表示第i個(gè)第二特征向量與第j個(gè)第一特征向量之間的相關(guān)性；表示第j個(gè)第一特征向量；表示第i個(gè)第二特征向量；表示第i-1個(gè)第二特征向量與對(duì)應(yīng)的所述第三特征向量之間的匹配結(jié)果；W^q、W^r、W^m和b^m表示公式的計(jì)算參數(shù)。