[發(fā)明專利]基于視頻的對(duì)象相似度比較方法和檢索方法及其系統(tǒng)

有效

• 申請(qǐng)?zhí)枺?/td>: 201510710336.1
• 申請(qǐng)日: 2015-10-27
• 公開（公告）號(hào): CN106611030B
• 公開（公告）日: 2020-05-19
• 發(fā)明（設(shè)計(jì)）人: 謝迪;浦世亮;朱江;全曉臣;武曉陽
• 申請(qǐng)（專利權(quán)）人: 杭州海康威視數(shù)字技術(shù)股份有限公司
• 主分類號(hào): G06F16/783
• 分類號(hào): G06F16/783;G06K9/62
• 代理公司: 上海一平知識(shí)產(chǎn)權(quán)代理有限公司 31266
• 代理人: 成春榮;竺云

1.一種基于視頻的對(duì)象相似度比較方法，其特征在于，包括以下步驟：

從包含第一對(duì)象的第一圖像組中獲取第一對(duì)象的典型參考點(diǎn)，從包含第二對(duì)象的第二圖像組中獲取第二對(duì)象的典型參考點(diǎn)，并根據(jù)第一和第二對(duì)象的典型參考點(diǎn)計(jì)算第一和第二對(duì)象的相似度；其中，通過以下方式從包括一個(gè)對(duì)象的一個(gè)圖像組中獲取該對(duì)象的典型參考點(diǎn)：

在包括一個(gè)對(duì)象的一個(gè)圖像組的每一幀圖像中提取該對(duì)象的特征，以作為該對(duì)象在一個(gè)視角的特征；

將每一個(gè)視角的特征作為多維空間中的一個(gè)參考點(diǎn)，根據(jù)參考點(diǎn)擬合出平滑的超曲線；

計(jì)算所述超曲線上每個(gè)參考點(diǎn)的曲率，從這些參考點(diǎn)中選取多個(gè)參考點(diǎn)作為典型參考點(diǎn)，其中相鄰的典型參考點(diǎn)之間的曲率改變率大于預(yù)定閾值；

其中，所述根據(jù)第一和第二對(duì)象的典型參考點(diǎn)計(jì)算第一和第二對(duì)象的相似度的步驟包括以下子步驟：

將第一和第二對(duì)象每個(gè)典型參考點(diǎn)映射為二進(jìn)制串，作為第一和第二對(duì)象的特征碼；

將第一和第二對(duì)象的典型參考點(diǎn)對(duì)應(yīng)的特征碼看作二分圖中的兩組特征點(diǎn)集合，將兩組特征點(diǎn)集合進(jìn)行匹配得到每個(gè)特征點(diǎn)的最佳匹配特征點(diǎn)；

使用如下公式計(jì)算相似度：

其中，表示所有匹配上的特征點(diǎn)的集合，表示待檢索對(duì)象中沒有匹配上的特征點(diǎn)的集合，表示數(shù)據(jù)庫(kù)對(duì)象中沒有匹配上的特征點(diǎn)的集合；p_u,p_v表示特征碼，H(p_u,p_v)表示p_u,p_v之間的Hamming距；|p_u|表示集合中每個(gè)特征碼的長(zhǎng)度，|p_v|表示集合中每個(gè)特征碼的長(zhǎng)度，α和β用于控制非匹配結(jié)果與匹配結(jié)果之間的重要性。

2.根據(jù)權(quán)利要求1所述的基于視頻的對(duì)象相似度比較方法，其特征在于，所述“在包括一個(gè)對(duì)象的一個(gè)圖像組的每一幀圖像中提取該對(duì)象的特征，以作為該對(duì)象在一個(gè)視角的特征”的步驟包括以下子步驟：

對(duì)于每一幀圖像，確定在該幀圖像中對(duì)象的位置；

根據(jù)對(duì)象的位置對(duì)每一幀圖像進(jìn)行采樣；

根據(jù)采樣結(jié)果提取特征作為該對(duì)象在一個(gè)視角的特征。

3.根據(jù)權(quán)利要求2所述的基于視頻的對(duì)象相似度比較方法，其特征在于，所述根據(jù)采樣結(jié)果提取特征作為該對(duì)象在一個(gè)視角的特征的步驟包括以下子步驟：

提取屬于該對(duì)象的稠密關(guān)鍵點(diǎn)特征，對(duì)所述稠密關(guān)鍵點(diǎn)特征進(jìn)行降維并映射為低維子空間特征；

提取屬于該對(duì)象的基于卷積神經(jīng)網(wǎng)絡(luò)的特征；

將所述降維后的稠密關(guān)鍵點(diǎn)特征與基于卷積神經(jīng)網(wǎng)絡(luò)的特征進(jìn)行級(jí)聯(lián)，形成所述對(duì)象在一個(gè)視角的特征。

4.根據(jù)權(quán)利要求2所述的基于視頻的對(duì)象相似度比較方法，其特征在于，所述確定在該幀圖像中對(duì)象的位置的步驟，包括以下子步驟：

提取出對(duì)象的候選框，對(duì)于每個(gè)候選框使用基于卷積神經(jīng)網(wǎng)絡(luò)的檢測(cè)方法對(duì)感興趣對(duì)象進(jìn)行初步定位；

使用邊界框回歸技術(shù)進(jìn)一步精細(xì)化定位對(duì)象位置。

5.一種基于視頻的對(duì)象檢索方法，其特征在于，包括以下步驟：

根據(jù)權(quán)利要求1至4中任一項(xiàng)所述的對(duì)象相似度比較的方法計(jì)算待檢索對(duì)象與數(shù)據(jù)庫(kù)中對(duì)象之間的相似度；

將相似度大于閾值的對(duì)象作為所述待檢索對(duì)象的檢索結(jié)果。