[發(fā)明專利]一種目標(biāo)搜索方法及裝置

在審

• 申請(qǐng)?zhí)枺?/td>: 202110767455.6
• 申請(qǐng)日: 2021-07-07
• 公開（公告）號(hào): CN113642392A
• 公開（公告）日: 2021-11-12
• 發(fā)明（設(shè)計(jì)）人: 楊華;劉創(chuàng)
• 申請(qǐng)（專利權(quán)）人: 上海交通大學(xué)
• 主分類號(hào): G06K9/00
• 分類號(hào): G06K9/00;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 上海恒慧知識(shí)產(chǎn)權(quán)代理事務(wù)所(特殊普通合伙) 31317
• 代理人: 徐紅銀

1.一種目標(biāo)搜索方法，其特征在于，包括：

獲取目標(biāo)視頻幀中各目標(biāo)的特征表達(dá)，基于各目標(biāo)的特征表達(dá)，構(gòu)建以待搜索目標(biāo)為中心節(jié)點(diǎn)，其他目標(biāo)為上下文節(jié)點(diǎn)且由上下文節(jié)點(diǎn)指向中心節(jié)點(diǎn)的源圖；

獲取候選視頻幀中各候選目標(biāo)的特征表達(dá)，基于各候選目標(biāo)的特征表達(dá)和各目標(biāo)的特征表達(dá)，確定與各目標(biāo)對(duì)應(yīng)的候選目標(biāo)，構(gòu)建以與待搜索目標(biāo)對(duì)應(yīng)的候選目標(biāo)為中心節(jié)點(diǎn)，與其他目標(biāo)對(duì)應(yīng)的候選目標(biāo)為上下文節(jié)點(diǎn)且由上下文節(jié)點(diǎn)指向中心節(jié)點(diǎn)的目標(biāo)圖，其中，與各目標(biāo)對(duì)應(yīng)的候選目標(biāo)是指與每一個(gè)目標(biāo)最相似的一候選目標(biāo)；

基于孿生殘差圖卷積神經(jīng)網(wǎng)絡(luò)獲得源圖的圖嵌入向量和目標(biāo)圖的圖嵌入向量；

至少基于所述源圖的圖嵌入向量和所述目標(biāo)圖的圖嵌入向量確定所述候選視頻幀中的待搜索目標(biāo)。

2.如權(quán)利要求1所述的方法，其特征在于，所述至少基于所述源圖的圖嵌入向量和所述目標(biāo)圖的圖嵌入向量確定所述候選視頻幀中的待搜索目標(biāo)包括：

基于所述源圖的圖嵌入向量和所述目標(biāo)圖的圖嵌入向量計(jì)算待搜索目標(biāo)和與其對(duì)應(yīng)的候選目標(biāo)的圖相似度；

基于待搜索目標(biāo)和與其對(duì)應(yīng)的候選目標(biāo)的圖相似度確定所述候選視頻幀中的待搜索目標(biāo)。

3.如權(quán)利要求1所述的方法，其特征在于，所述至少基于所述源圖的圖嵌入向量和所述目標(biāo)圖的圖嵌入向量確定所述候選視頻幀中的待搜索目標(biāo)包括：

基于所述源圖的圖嵌入向量和所述目標(biāo)圖的圖嵌入向量計(jì)算待搜索目標(biāo)和與其對(duì)應(yīng)的候選目標(biāo)的圖相似度；

基于所述待搜索目標(biāo)和與其對(duì)應(yīng)的候選目標(biāo)的圖相似度對(duì)所述待搜索目標(biāo)和與其對(duì)應(yīng)的候選目標(biāo)的相似度進(jìn)行修正以獲得修正后的待搜索目標(biāo)和與其對(duì)應(yīng)的候選目標(biāo)的相似度；

基于修正后的待搜索目標(biāo)和與其對(duì)應(yīng)的候選目標(biāo)的相似度確定所述候選視頻幀中的待搜索目標(biāo)。

4.如權(quán)利要求1所述的方法，其特征在于，所述源圖和所述目標(biāo)圖的鄰接矩陣通過如下公式定義：

其中，A_ij為鄰接矩陣第i行第j列的元素，q₁為源圖中中心節(jié)點(diǎn)的特征向量，g₁為目標(biāo)圖中中心節(jié)點(diǎn)的特征向量，q_j為源圖中節(jié)點(diǎn)j的特征向量，g_j為目標(biāo)圖中節(jié)點(diǎn)j的特征向量。

5.如權(quán)利要求1所述的方法，其特征在于，所述孿生殘差圖卷積神經(jīng)網(wǎng)絡(luò)至少包括兩個(gè)圖卷積層，每一個(gè)圖卷積層通過如下公式定義：

Z^l+1＝σ(AZ^lW^l)

其中，σ(·)為非線性激活操作，A為鄰接矩陣，Z^l為第l層的輸入特征矩陣，W^l為第l層的學(xué)習(xí)參數(shù)。

6.如權(quán)利要求1所述的方法，其特征在于，獲取目標(biāo)視頻幀中各目標(biāo)的特征表達(dá)包括：

基于檢測(cè)網(wǎng)絡(luò)檢測(cè)目標(biāo)視頻幀中的各目標(biāo)；

基于神經(jīng)網(wǎng)絡(luò)獲取各目標(biāo)的特征表達(dá)；

獲取候選視頻幀中各候選目標(biāo)的特征表達(dá)包括：

基于檢測(cè)網(wǎng)絡(luò)檢測(cè)候選視頻幀中的各候選目標(biāo)；

基于神經(jīng)網(wǎng)絡(luò)獲取各候選目標(biāo)的特征表達(dá)。

7.一種目標(biāo)搜索裝置，其特征在于，包括：

第一處理單元，用于獲取目標(biāo)視頻幀中各目標(biāo)的特征表達(dá)，基于各目標(biāo)的特征表達(dá)，構(gòu)建以待搜索目標(biāo)為中心節(jié)點(diǎn)，其他目標(biāo)為上下文節(jié)點(diǎn)且由上下文節(jié)點(diǎn)指向中心節(jié)點(diǎn)的源圖；

第二處理單元，用于獲取候選視頻幀中各候選目標(biāo)的特征表達(dá)，基于各候選目標(biāo)的特征表達(dá)和各目標(biāo)的特征表達(dá)，確定與各目標(biāo)對(duì)應(yīng)的候選目標(biāo)，構(gòu)建以與待搜索目標(biāo)對(duì)應(yīng)的候選目標(biāo)為中心節(jié)點(diǎn)，與其他目標(biāo)對(duì)應(yīng)的候選目標(biāo)為上下文節(jié)點(diǎn)且由上下文節(jié)點(diǎn)指向中心節(jié)點(diǎn)的目標(biāo)圖，其中，與各目標(biāo)對(duì)應(yīng)的候選目標(biāo)是指與每一個(gè)目標(biāo)最相似的一候選目標(biāo)；

獲取單元，用于基于孿生殘差圖卷積神經(jīng)網(wǎng)絡(luò)獲得源圖的圖嵌入向量和目標(biāo)圖的圖嵌入向量；

確定單元，用于至少基于所述源圖的圖嵌入向量和所述目標(biāo)圖的圖嵌入向量確定所述候選視頻幀中的待搜索目標(biāo)。