[發(fā)明專利]目標(biāo)搜索方法、裝置及計算機(jī)可讀存儲介質(zhì)

在審

• 申請?zhí)枺?/td>: 201910669148.7
• 申請日: 2019-07-24
• 公開（公告）號: CN111783507A
• 公開（公告）日: 2020-10-16
• 發(fā)明（設(shè)計）人: 劉武;梅濤;王曉
• 申請（專利權(quán)）人: 北京京東尚科信息技術(shù)有限公司;北京京東世紀(jì)貿(mào)易有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62
• 代理公司: 中國貿(mào)促會專利商標(biāo)事務(wù)所有限公司 11038
• 代理人: 姜雍;許蓓

本公開提供了一種目標(biāo)搜索方法、裝置及計算機(jī)可讀存儲介質(zhì)，涉及多媒體技術(shù)領(lǐng)域。其中的目標(biāo)搜索方法包括：利用目標(biāo)肖像的面部特征及各個候選幀序列的面部特征，確定目標(biāo)肖像分別與各個候選幀序列之間的面部相似度；其中，每個候選幀序列中的各個候選幀對應(yīng)相同的候選目標(biāo)；利用各個候選幀序列的面部特征及其它生物特征，確定各個候選幀序列之間的身份相關(guān)度；利用面部相似度以及身份相關(guān)度，分別確定目標(biāo)肖像與各個候選幀序列之間的目標(biāo)相關(guān)度。本公開能夠更加準(zhǔn)確的確定目標(biāo)肖像與各個候選幀序列之間的目標(biāo)相關(guān)度，從而能夠利用目標(biāo)肖像在視頻中更加準(zhǔn)確的搜索到目標(biāo)的視頻。

技術(shù)領(lǐng)域

本公開涉及多媒體技術(shù)領(lǐng)域，特別涉及一種目標(biāo)搜索方法、裝置及計算機(jī)可讀存儲介質(zhì)。

背景技術(shù)

多媒體視頻分析技術(shù)越來越廣泛地應(yīng)用到日常生活、公共安全和刑事偵查等領(lǐng)域，可見，搜索視頻中的內(nèi)容在打擊犯罪、維護(hù)社會安全方面發(fā)揮著越來越重要的作用。視頻中存在多種多樣的目標(biāo)，該目標(biāo)例如可以是人、動物等等，其中人是視頻中的主要活動主體。

目標(biāo)搜索是一種僅根據(jù)目標(biāo)的一張肖像便可以查找出視頻中具有相同身份的視頻幀序列的技術(shù)。在日常生活中，該技術(shù)可以識別出視頻中觀眾感興趣的目標(biāo)視頻幀序列，使我們的生活更加的高效和便利。在公共安全和刑事偵查中，該技術(shù)可以輔助視頻偵查員快速、準(zhǔn)確地發(fā)現(xiàn)畫面中的行人，對公安部分提高破案率、維護(hù)人民群眾生命財產(chǎn)安全具有重要意義。

發(fā)明內(nèi)容

發(fā)明人研究發(fā)現(xiàn)，相關(guān)的目標(biāo)搜索技術(shù)過多依賴于面部和身體的視覺屬性。例如，在能夠獲取到畫面中人臉區(qū)域的前提下，人臉識別技術(shù)能夠提供令人滿意的判別性能。但是在實際應(yīng)用中，人物不斷活動，并不能保證每個視頻幀中都包含標(biāo)準(zhǔn)的人臉。在人物背對鏡頭的畫面中檢測不到人臉，會使人臉識別技術(shù)直接失效。導(dǎo)致在視頻中搜索目標(biāo)的準(zhǔn)確性較低。

本公開解決的一個技術(shù)問題是，如何利用目標(biāo)肖像在視頻中更加準(zhǔn)確的搜索到目標(biāo)的視頻。

根據(jù)本公開實施例的一個方面，提供了一種目標(biāo)搜索方法，包括：利用目標(biāo)肖像的面部特征及各個候選幀序列的面部特征，確定目標(biāo)肖像分別與各個候選幀序列之間的面部相似度；其中，每個候選幀序列中的各個候選幀對應(yīng)相同的候選目標(biāo)；利用各個候選幀序列的面部特征及其它生物特征，確定各個候選幀序列之間的身份相關(guān)度；利用面部相似度以及身份相關(guān)度，分別確定目標(biāo)肖像與各個候選幀序列之間的目標(biāo)相關(guān)度。

在一些實施例中，利用各個候選幀序列的面部特征及其它生物特征，確定各個候選幀序列之間的身份相關(guān)度包括：將各個候選幀序列的面部特征及其它生物特征級聯(lián)后輸入預(yù)先訓(xùn)練的全連接神經(jīng)網(wǎng)絡(luò)，分別得到各個候選幀序列的面部特征及其它生物特征的權(quán)重；利用權(quán)重、各個候選幀序列的面部特征及其它生物特征，分別確定各個候選幀序列的身份特征；利用各個候選幀序列的身份特征，確定各個候選幀序列之間的身份相關(guān)度。

在一些實施例中，利用權(quán)重、各個候選幀序列的面部特征及其它生物特征，分別確定各個候選幀序列的身份特征包括：利用任一候選幀序列的權(quán)重，分別對任一候選幀序列的面部特征及其它生物特征進(jìn)行加權(quán)；將加權(quán)結(jié)果級聯(lián)，得到任一候選幀序列的身份特征。

在一些實施例中，還包括：構(gòu)建全連接神經(jīng)網(wǎng)絡(luò)；利用第一候選幀序列的身份特征與第二候選幀序列的身份特征之間的歐式距離，構(gòu)建損失函數(shù)；第一候選幀序列及第二候選幀序列為任一候選幀序列；其中，第一候選幀序列與第二候選幀序列對應(yīng)相同的候選目標(biāo)時，損失函數(shù)的數(shù)值與歐式距離呈正相關(guān)；第一候選幀序列與第二候選幀序列對應(yīng)不同的候選目標(biāo)時，損失函數(shù)的數(shù)值與歐式距離和預(yù)設(shè)值之間的差值呈正相關(guān)；調(diào)整全連接神經(jīng)網(wǎng)絡(luò)的參數(shù)，以減小損失函數(shù)的數(shù)值。

在一些實施例中，損失函數(shù)為：