[發(fā)明專利]用于跟蹤視頻中的目標(biāo)圖形的方法和裝置

有效

• 申請(qǐng)?zhí)枺?/td>: 201711397545.0
• 申請(qǐng)日: 2017-12-21
• 公開(kāi)（公告）號(hào): CN108090916B
• 公開(kāi)（公告）日: 2019-05-07
• 發(fā)明（設(shè)計(jì)）人: 王健;文石磊;劉霄;李旭斌;丁二銳
• 申請(qǐng)（專利權(quán)）人: 百度在線網(wǎng)絡(luò)技術(shù)（北京）有限公司
• 主分類號(hào): G06T7/246
• 分類號(hào): G06T7/246;G06T7/277
• 代理公司: 北京英賽嘉華知識(shí)產(chǎn)權(quán)代理有限責(zé)任公司 11204
• 代理人: 王達(dá)佐;馬曉亞

本申請(qǐng)實(shí)施例公開(kāi)了用于跟蹤視頻中的目標(biāo)圖形的方法和裝置。該方法的一具體實(shí)施方式包括：在目標(biāo)視頻的上一幀圖像中確定目標(biāo)圖形的角點(diǎn)的位置信息和相鄰的角點(diǎn)構(gòu)成的第一邊的參數(shù)信息；跟蹤上一幀圖像中的各角點(diǎn)獲得當(dāng)前幀圖像中的目標(biāo)圖形的各角點(diǎn)的位置信息以確定第二邊的參數(shù)信息；響應(yīng)于確定第一邊和第二邊的相似度小于第一預(yù)設(shè)閾值，對(duì)各第一邊的參數(shù)信息進(jìn)行預(yù)測(cè)以獲取預(yù)測(cè)的參數(shù)信息，并根據(jù)預(yù)測(cè)的參數(shù)信息生成多個(gè)候選目標(biāo)圖形；根據(jù)多個(gè)候選目標(biāo)圖形的圖像特征確定目標(biāo)圖形在當(dāng)前幀圖像中的最終位置。該實(shí)施方式通過(guò)融合目標(biāo)圖形的角點(diǎn)和邊的特征實(shí)現(xiàn)目標(biāo)圖形的追蹤，并對(duì)追蹤不準(zhǔn)確的結(jié)果進(jìn)行優(yōu)化，提高了目標(biāo)圖形追蹤的準(zhǔn)確性。

技術(shù)領(lǐng)域

本申請(qǐng)實(shí)施例涉及計(jì)算機(jī)技術(shù)領(lǐng)域，具體涉及互聯(lián)網(wǎng)技術(shù)領(lǐng)域，尤其涉及用于跟蹤視頻中的目標(biāo)圖形的方法和裝置。

背景技術(shù)

在視頻處理中，如果需要對(duì)某視頻對(duì)象進(jìn)行編輯，如水印添加、做馬賽克掩膜、顏色校正等，都需要準(zhǔn)確地知道其所在的位置。

現(xiàn)有技術(shù)提供了多種用于跟蹤視頻中待編輯對(duì)象的視頻目標(biāo)圖形跟蹤的方法，但是各方法通常僅適用于部分場(chǎng)景條件，很難適用于多種復(fù)雜場(chǎng)景的情況。例如，現(xiàn)有的基于稀疏光流/稠密光流的視頻跟蹤方法，在目標(biāo)圖形出現(xiàn)遮擋的情況下難以準(zhǔn)確地確定目標(biāo)圖形；現(xiàn)有的基于特征點(diǎn)匹配的視頻跟蹤方法，不適用于紋理信息較弱的目標(biāo)圖形的跟蹤；對(duì)于圖像逐幀分割的方法，分割算法在復(fù)雜場(chǎng)景下無(wú)法準(zhǔn)確地識(shí)別目標(biāo)圖形的邊界。因此，如何在各種復(fù)雜場(chǎng)景下準(zhǔn)確地跟蹤視頻的各幀圖像中的目標(biāo)圖形成為亟待解決的問(wèn)題。

發(fā)明內(nèi)容

本申請(qǐng)實(shí)施例提出了用于跟蹤視頻中的目標(biāo)圖形的方法和裝置。

第一方面，本申請(qǐng)實(shí)施例提供了一種用于跟蹤視頻中的目標(biāo)圖形的方法，該方法包括：在目標(biāo)視頻的與當(dāng)前幀圖像相鄰的上一幀圖像中確定目標(biāo)圖形的角點(diǎn)的位置信息和相鄰的角點(diǎn)構(gòu)成的第一邊的參數(shù)信息，其中，第一邊為上一幀圖像中的目標(biāo)圖形的邊；跟蹤上一幀圖像中的目標(biāo)圖形的各角點(diǎn)獲得當(dāng)前幀圖像中的目標(biāo)圖形的各角點(diǎn)的位置信息，以確定第二邊的參數(shù)信息，其中，第二邊為當(dāng)前幀圖像中的目標(biāo)圖形的相鄰的角點(diǎn)構(gòu)成的邊；響應(yīng)于確定第一邊和與該第一邊對(duì)應(yīng)的第二邊的相似度小于第一預(yù)設(shè)閾值，對(duì)上一幀圖像中的各第一邊的參數(shù)信息進(jìn)行預(yù)測(cè)以獲取預(yù)測(cè)的參數(shù)信息，并根據(jù)預(yù)測(cè)的參數(shù)信息生成多個(gè)候選目標(biāo)圖形；根據(jù)多個(gè)候選目標(biāo)圖形的圖像特征確定目標(biāo)圖形在當(dāng)前幀圖像中的最終位置。

在一些實(shí)施例中，在目標(biāo)視頻的與當(dāng)前幀圖像相鄰的上一幀圖像中確定目標(biāo)圖形的角點(diǎn)的位置信息和相鄰的角點(diǎn)構(gòu)成的第一邊的參數(shù)信息，包括：在目標(biāo)視頻的上一幀圖像中確定目標(biāo)圖形的各角點(diǎn)的位置信息；根據(jù)所確定的各角點(diǎn)的位置信息，確定上一幀圖像中的目標(biāo)圖形的每條第一邊的參數(shù)信息。

在一些實(shí)施例中，跟蹤上一幀圖像中的目標(biāo)圖形的各角點(diǎn)獲得當(dāng)前幀圖像中的目標(biāo)圖形的各角點(diǎn)的位置信息，以確定第二邊的參數(shù)信息，包括：采用KLT跟蹤算法跟蹤上一幀圖像中的各角點(diǎn)，獲得當(dāng)前幀圖像中的目標(biāo)圖形的各角點(diǎn)的位置信息；利用所獲得的各角點(diǎn)的位置信息，確定當(dāng)前幀圖像中的目標(biāo)圖形的每條第二邊的參數(shù)信息。

在一些實(shí)施例中，在跟蹤上一幀圖像中的目標(biāo)圖形的各角點(diǎn)獲得當(dāng)前幀圖像中的目標(biāo)圖形的各角點(diǎn)的位置信息，以確定第二邊的參數(shù)信息之后，方法還包括：對(duì)于上一幀圖像中由任意兩個(gè)相鄰角點(diǎn)所確定的第一邊和跟蹤該兩個(gè)角點(diǎn)獲得的位置信息所確定的當(dāng)前幀圖像中的第二邊，利用該第一邊的參數(shù)信息和第二邊的參數(shù)信息計(jì)算該第一邊和第二邊的相似度；響應(yīng)于確定第一邊和第二邊的相似度大于或等于第一預(yù)設(shè)閾值，利用跟蹤獲得的各角點(diǎn)的位置信息確定目標(biāo)圖形在當(dāng)前幀圖像中的最終位置。

在一些實(shí)施例中，對(duì)上一幀圖像中的各第一邊的參數(shù)信息進(jìn)行預(yù)測(cè)獲取預(yù)測(cè)的參數(shù)信息，并根據(jù)所獲取的預(yù)測(cè)的參數(shù)信息生成多個(gè)候選目標(biāo)圖形，包括：利用卡爾曼濾波器對(duì)上一幀圖像中的各第一邊的參數(shù)信息進(jìn)行預(yù)測(cè)，獲取預(yù)測(cè)的參數(shù)信息；利用預(yù)測(cè)的參數(shù)信息確定各預(yù)測(cè)邊，根據(jù)各預(yù)測(cè)邊確定多個(gè)預(yù)測(cè)角點(diǎn)；以預(yù)測(cè)角點(diǎn)為中心，在當(dāng)前幀圖像中確定每個(gè)預(yù)測(cè)角點(diǎn)的候選角點(diǎn)；利用各預(yù)測(cè)角點(diǎn)和各候選角點(diǎn)，生成多個(gè)候選目標(biāo)圖形。