[發(fā)明專利]一種基于視覺語義關(guān)系圖的圖像區(qū)域標(biāo)注方法

有效

• 申請?zhí)枺?/td>: 201711387422.9
• 申請日: 2017-12-20
• 公開（公告）號: CN107967494B
• 公開（公告）日: 2020-12-11
• 發(fā)明（設(shè)計(jì)）人: 張靜;陶提;穆亞昆;王喆;趙賢文;陳美
• 申請（專利權(quán)）人: 華東理工大學(xué)
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06K9/46
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.一種基于視覺語義關(guān)系圖的圖像區(qū)域標(biāo)注方法，其特征包括三個(gè)步驟：

(1)構(gòu)建圖像全局相似性子圖，圖像區(qū)域相似性子圖以及圖像區(qū)域標(biāo)簽語義相似性子圖，分析各子圖間語義關(guān)聯(lián)；

(2)構(gòu)建視覺語義關(guān)系圖，各子圖間形成多層次的關(guān)聯(lián)關(guān)系，包括：圖像全局相似性子圖與圖像區(qū)域相似性子圖的關(guān)聯(lián)、圖像全局相似性子圖與圖像區(qū)域標(biāo)簽語義相關(guān)性子圖的關(guān)聯(lián)、圖像區(qū)域相似性子圖與圖像區(qū)域標(biāo)簽語義相關(guān)性子圖的關(guān)聯(lián)；

(3)將未標(biāo)注圖像插入視覺語義關(guān)系圖，在新構(gòu)建的視覺語義關(guān)系圖上進(jìn)行跨層次的隨機(jī)游走，從而得到未標(biāo)注圖像區(qū)域的標(biāo)簽，具體包括：

(31)將未標(biāo)注圖像分割成區(qū)域，并將圖像和其所包含的區(qū)域插入視覺語義關(guān)系圖，并根據(jù)未標(biāo)注圖像與已標(biāo)注圖像全局特征的相似性以及未標(biāo)注區(qū)域與已標(biāo)注區(qū)域的局部特征相似性來確定對應(yīng)邊的值；

(32)將圖像全局、圖像區(qū)域以及語義標(biāo)簽看作一個(gè)三元組復(fù)合節(jié)點(diǎn)，在新構(gòu)建的三層視覺語義關(guān)系圖上進(jìn)行隨機(jī)游走，得到未標(biāo)注圖像區(qū)域與語義標(biāo)簽之間的關(guān)聯(lián)值，并選取關(guān)聯(lián)值最高的語義標(biāo)簽作為圖像區(qū)域的預(yù)測標(biāo)簽。

2.如權(quán)利要求1所述方法，其特征在于步驟(2)中，圖像全局相似性子圖是根據(jù)圖像全局場景進(jìn)行相似性比較而建立圖像間的關(guān)聯(lián)；圖像區(qū)域相似性子圖是根據(jù)圖像分割區(qū)域的相似性比較而建立區(qū)域間的關(guān)聯(lián)；圖像區(qū)域標(biāo)簽語義相關(guān)性子圖是根據(jù)語義共現(xiàn)度建立標(biāo)簽間的關(guān)聯(lián)，語義共現(xiàn)度是根據(jù)語義標(biāo)簽在圖像訓(xùn)練集中的共現(xiàn)概率進(jìn)行計(jì)算的。

3.如權(quán)利要求1所述方法，其特征在于步驟(2)中，圖像全局相似性子圖與圖像區(qū)域相似性子圖的關(guān)聯(lián)描述圖像與圖像分割成區(qū)域的所屬關(guān)系；圖像全局相似性子圖與圖像區(qū)域標(biāo)簽語義相關(guān)性子圖的關(guān)聯(lián)是描述已標(biāo)注圖像的全局標(biāo)簽信息；圖像區(qū)域相似性子圖與圖像區(qū)域標(biāo)簽語義相關(guān)性子圖的關(guān)聯(lián)是描述已標(biāo)注圖像的區(qū)域標(biāo)簽信息。