[發(fā)明專利]一種基于視覺(jué)語(yǔ)義關(guān)系圖的圖像區(qū)域標(biāo)注方法

有效

• 申請(qǐng)?zhí)枺?/td>: 201711387422.9
• 申請(qǐng)日: 2017-12-20
• 公開(kāi)（公告）號(hào): CN107967494B
• 公開(kāi)（公告）日: 2020-12-11
• 發(fā)明（設(shè)計(jì)）人: 張靜;陶提;穆亞昆;王喆;趙賢文;陳美
• 申請(qǐng)（專利權(quán)）人: 華東理工大學(xué)
• 主分類(lèi)號(hào): G06K9/62
• 分類(lèi)號(hào): G06K9/62;G06K9/46
• 代理公司: 暫無(wú)信息
• 代理人: 暫無(wú)信息

本發(fā)明公開(kāi)了一種基于視覺(jué)和語(yǔ)義的圖像標(biāo)注算法，可實(shí)現(xiàn)對(duì)圖像區(qū)域的自動(dòng)標(biāo)注。提出的基于視覺(jué)語(yǔ)義關(guān)系圖的圖像區(qū)域標(biāo)注算法包括兩個(gè)部分：視覺(jué)語(yǔ)義關(guān)系圖的構(gòu)建和基于視覺(jué)語(yǔ)義關(guān)系圖的圖像標(biāo)注。視覺(jué)語(yǔ)義關(guān)系圖的構(gòu)建考慮了圖像間的全局相似性、區(qū)域相似性、圖像區(qū)域標(biāo)簽的語(yǔ)義關(guān)聯(lián)以及各層次間的關(guān)聯(lián)。然后在構(gòu)建好的視覺(jué)語(yǔ)義關(guān)系圖上進(jìn)行半監(jiān)督學(xué)習(xí)，得到未標(biāo)注圖像區(qū)域與圖像區(qū)域標(biāo)簽之間的關(guān)聯(lián)度，對(duì)未標(biāo)注圖像區(qū)域進(jìn)行標(biāo)簽預(yù)測(cè)。

技術(shù)領(lǐng)域

本發(fā)明屬于圖像語(yǔ)義理解領(lǐng)域，具體涉及一種基于視覺(jué)語(yǔ)義關(guān)系圖的圖像區(qū)域標(biāo)注方法。

背景技術(shù)

當(dāng)今社會(huì)圖像數(shù)據(jù)量巨大，圖像自動(dòng)標(biāo)注技術(shù)成為人們對(duì)圖像數(shù)據(jù)檢索和管理的重要途徑，但是由于“語(yǔ)義鴻溝”的存在，嚴(yán)重影響了傳統(tǒng)圖像區(qū)域標(biāo)注算法的準(zhǔn)確性，本發(fā)明提出了一種基于視覺(jué)語(yǔ)義關(guān)系圖的圖像區(qū)域標(biāo)注方法。

圖像全局間具有圖像視覺(jué)特征相似性，圖像區(qū)域間也具有圖像視覺(jué)特征相似性，圖像標(biāo)簽之間則具有語(yǔ)義關(guān)聯(lián)性，這些信息有助于圖像區(qū)域標(biāo)注與理解，因而本發(fā)明提出了一種能夠有效描述上述關(guān)系的視覺(jué)語(yǔ)義關(guān)系圖，并以此圖為基礎(chǔ)實(shí)現(xiàn)跨層次的隨機(jī)游走算法對(duì)圖像區(qū)域進(jìn)行自動(dòng)語(yǔ)義標(biāo)注。

發(fā)明內(nèi)容

本發(fā)明的目的在于提出一種基于視覺(jué)語(yǔ)義關(guān)系圖的圖像區(qū)域標(biāo)注方法，通過(guò)分析圖像間的全局相似性、區(qū)域相似性、圖像區(qū)域標(biāo)簽的語(yǔ)義關(guān)聯(lián)，以及各層次之間的關(guān)聯(lián)構(gòu)造視覺(jué)語(yǔ)義關(guān)系圖，提出跨層次的隨機(jī)游走算法對(duì)圖像區(qū)域進(jìn)行自動(dòng)標(biāo)注。

本發(fā)明的技術(shù)方案如下：

(1)圖像全局相似性子圖與圖像區(qū)域相似性子圖的構(gòu)建：提取圖像的全局視覺(jué)特征，并計(jì)算圖像間的特征相似性；提取圖像區(qū)域的視覺(jué)特征，并計(jì)算區(qū)域間的特征相似性。

(2)圖像區(qū)域標(biāo)簽語(yǔ)義相關(guān)性子圖的構(gòu)建：語(yǔ)義相關(guān)性由不同標(biāo)簽之間的語(yǔ)義共現(xiàn)度表示，語(yǔ)義共現(xiàn)度是根據(jù)語(yǔ)義標(biāo)簽在圖像訓(xùn)練集中的共現(xiàn)概率進(jìn)行計(jì)算的。

(3)各子圖間關(guān)聯(lián)的構(gòu)建：圖像全局相似性子圖與圖像區(qū)域相似性子圖的關(guān)聯(lián)由圖像與圖像分割成區(qū)域的所屬關(guān)系確定；圖像全局相似性子圖與圖像區(qū)域標(biāo)簽語(yǔ)義相關(guān)性子圖的關(guān)聯(lián)由已標(biāo)注圖像的全局標(biāo)簽信息確定；圖像區(qū)域相似性子圖與圖像區(qū)域標(biāo)簽語(yǔ)義相關(guān)性子圖的關(guān)聯(lián)由已標(biāo)注圖像的區(qū)域標(biāo)簽信息確定。

(4)跨層次的隨機(jī)游走算法：將未標(biāo)注圖像插入視覺(jué)語(yǔ)義關(guān)系圖，在新構(gòu)建的視覺(jué)語(yǔ)義關(guān)系圖上進(jìn)行跨層次的隨機(jī)游走，從而得到未標(biāo)注圖像區(qū)域的標(biāo)簽。本部分主要分兩步：

(41)將未標(biāo)注圖像分割成區(qū)域，并將圖像和其所包含的區(qū)域插入視覺(jué)語(yǔ)義關(guān)系圖。并根據(jù)未標(biāo)注圖像與已標(biāo)注圖像全局特征的相似性以及未標(biāo)注區(qū)域與已標(biāo)注區(qū)域的局部特征相似性來(lái)確定對(duì)應(yīng)邊的值。

(42)將圖像全局、圖像區(qū)域以及語(yǔ)義標(biāo)簽看作一個(gè)三元組復(fù)合節(jié)點(diǎn)，在新構(gòu)建的三層視覺(jué)語(yǔ)義關(guān)系圖上進(jìn)行隨機(jī)游走，得到未標(biāo)注圖像區(qū)域與標(biāo)簽之間的關(guān)聯(lián)值，并選取關(guān)聯(lián)值最高的標(biāo)簽作為圖像區(qū)域的預(yù)測(cè)標(biāo)簽。

附圖說(shuō)明

為了更清楚地說(shuō)明本發(fā)明實(shí)施步驟，下面將對(duì)步驟附圖進(jìn)行詳細(xì)介紹

圖1是基于視覺(jué)語(yǔ)義關(guān)系圖的圖像區(qū)域標(biāo)注流程圖

圖2是視覺(jué)語(yǔ)義關(guān)系圖

圖3是圖像全局相似性子圖

圖4是圖像區(qū)域相似性子圖

圖5是圖像區(qū)域標(biāo)簽語(yǔ)義相關(guān)性子圖

具體實(shí)施方式

下面結(jié)合附圖，對(duì)本發(fā)明的技術(shù)方案進(jìn)行具體說(shuō)明。

圖1是本發(fā)明提供的基于視覺(jué)語(yǔ)義關(guān)系圖的圖像區(qū)域標(biāo)注方法流程示意圖，該標(biāo)注方法包括4個(gè)單元。