[發(fā)明專利]一種圖片語義自動標注方法與系統(tǒng)

有效

• 申請?zhí)枺?/td>: 201210521573.X
• 申請日: 2012-12-07
• 公開（公告）號: CN103853792B
• 公開（公告）日: 2018-06-15
• 發(fā)明（設計）人: 陸平;董振江;羅圣美;劉麗霞;陳清財;劉勝宇;戶保田
• 申請（專利權(quán)）人: 中興通訊股份有限公司;哈爾濱工業(yè)大學深圳研究生院
• 主分類號: G06F17/30
• 分類號: G06F17/30;G06K9/46
• 代理公司: 北京安信方達知識產(chǎn)權(quán)代理有限公司 11262
• 代理人: 解婷婷;龍洪

1.一種圖片語義自動標注系統(tǒng)，其特征在于，該系統(tǒng)包括：

部件一、針對已帶有圖片標注的圖片數(shù)據(jù)集，構(gòu)建基于n元圖片的索引；

部件二、對待標注圖片進行預處理，提取圖像n元；

部件三、從所構(gòu)建的基于n元圖片的索引中檢索所提取的圖像n元對應的所有語義標簽，計算所檢索出的圖像n元對應的語義標簽的概率值；

部件四、更新所有語義標簽的概率值；

部件五、按照更新后的概率值對所有語義標簽進行排序，將概率值排序中達到設定值的一個或多個語義標簽輸出；

具體地，部件一通過對隨機選取的圖片進行文本化切分，并通過k-means聚類方法學習并構(gòu)建“圖像詞典”，然后通過已帶有圖片標注的圖片數(shù)據(jù)集，構(gòu)建基于n元圖片索引；

構(gòu)建“圖像詞典”時，首先需要通過隨機選取的圖片數(shù)據(jù)集學習“圖像詞元”，然后通過學習得到的構(gòu)建“圖像詞典”；

在“圖像詞典”中加入了n元項，對于任一個“圖像詞元”，與其相鄰的n-1個“圖像詞元”構(gòu)成一個“圖像詞元”序列，將所有這些“圖像詞元”序列都作為一個項加入“圖像詞典”中，同時加入其長度小于n的其他“圖像詞元”序列，構(gòu)成“圖像詞典”。

2.如權(quán)利要求1所述的系統(tǒng)，其特征在于，

所述部件一構(gòu)建的基于n元圖片的索引的結(jié)構(gòu)以圖像n元為索引，以圖像標注和圖像詳細信息為索引對象。

3.如權(quán)利要求1或2所述的系統(tǒng)，其特征在于，所述部件三按照如下公式計算所檢索出的圖像n元對應的語義標簽的概率值：

式中：p(sun|img,(1,1))——待標注圖片img中，出現(xiàn)(1,1)的條件下，sun標簽出現(xiàn)的概率，其中，sun標簽為圖像n元對應的語義標簽；

Lweight_sun——索引中(1,1)對應的sun標簽的概率權(quán)值；

N_((1,1))——待標注圖片img中(1,1)出現(xiàn)的個數(shù)。

4.如權(quán)利要求3所述的系統(tǒng)，其特征在于，所述部件四更新所有語義標簽的概率值指：

初始化待標注圖片的各語義標簽的概率值為0，更新語義標簽的概率值，直至圖片中所有的元都被檢索到。

5.如權(quán)利要求4所述的系統(tǒng)，其特征在于，所述部件四按照如下公式更新語義標簽的概率值：

p(sun|img)＝1-(1-p(sun|img))·(1-p(sun|img,(1,1)))

式中：p(sun|img)——待標注圖像img中被標注為sun的概率權(quán)值，其中，sun標簽為圖像n元對應的語義標簽；

p(sun|img,(1,1))——待標注圖片img中，出現(xiàn)(1,1)的條件下，sun標簽出現(xiàn)的概率。

6.一種圖片語義自動標注方法，其特征在于，該方法包括：

針對已帶有圖片標注的圖片數(shù)據(jù)集，構(gòu)建基于n元圖片的索引；

對待標注圖片進行預處理，提取圖像n元，從所構(gòu)建的基于n元圖片的索引中檢索所提取的圖像n元對應的所有語義標簽，計算所檢索出的圖像n元對應的語義標簽的概率值；

更新所有語義標簽的出現(xiàn)概率值，按照更新后的出現(xiàn)概率值對所有語義標簽進行排序，將出現(xiàn)概率值排序中達到設定值的一個或多個語義標簽輸出；

其中，所述針對已帶有圖片標注的圖片數(shù)據(jù)集，構(gòu)建基于n元圖片的索引，具體地，通過對隨機選取的圖片進行文本化切分，并通過k-means聚類方法學習并構(gòu)建“圖像詞典”，然后通過已帶有圖片標注的圖片數(shù)據(jù)集，構(gòu)建基于n元圖片索引；

構(gòu)建“圖像詞典”時，首先需要通過隨機選取的圖片數(shù)據(jù)集學習“圖像詞元”，然后通過學習得到的構(gòu)建“圖像詞典”；

在“圖像詞典”中加入了n元項，對于任一個“圖像詞元”，與其相鄰的n-1個“圖像詞元”構(gòu)成一個“圖像詞元”序列，將所有這些“圖像詞元”序列都作為一個項加入“圖像詞典”中，同時加入其長度小于n的其他“圖像詞元”序列，構(gòu)成“圖像詞典”。

7.如權(quán)利要求6所述的方法，其特征在于，所構(gòu)建的基于n元圖片的索引的結(jié)構(gòu)以圖像n元為索引，以圖像標注和圖像詳細信息為索引對象。