[發(fā)明專利]一種圖像標(biāo)簽的自動標(biāo)注與排序方法

在審

• 申請?zhí)枺?/td>: 202211539530.4
• 申請日: 2022-12-02
• 公開（公告）號: CN115952312A
• 公開（公告）日: 2023-04-11
• 發(fā)明（設(shè)計）人: 馬楠;許根寶;梁曄;郭聰;姚永強;汪成;張進;汪墨涵;肖傳勝
• 申請（專利權(quán)）人: 北京工業(yè)大學(xué)
• 主分類號: G06F16/583
• 分類號: G06F16/583;G06F16/58;G06V10/26;G06V10/46
• 代理公司: 北京馳納南熙知識產(chǎn)權(quán)代理有限公司 11999
• 代理人: 馬棟敏

本發(fā)明提供一種圖像標(biāo)簽的自動標(biāo)注與排序方法，包括以下步驟：構(gòu)建基準(zhǔn)圖像集；對無標(biāo)簽的測試圖像進行標(biāo)注；對測試圖像的標(biāo)簽進行排序。本發(fā)明提出了一種圖像標(biāo)簽的自動標(biāo)注和排序方法，一方面，通過基準(zhǔn)圖像集得到標(biāo)簽和視覺詞的對應(yīng)關(guān)系，實現(xiàn)測試圖像標(biāo)簽的自動標(biāo)注；另一方面，圖像的對象性檢測結(jié)果具有很強的語義性，將對象性檢測技術(shù)用于標(biāo)簽排序，排序后的標(biāo)簽帶有的語義信息和圖像反映出的語義信息一致性更強，更準(zhǔn)確的標(biāo)簽信息能夠更好的用于圖像檢索等其他視覺任務(wù)，同時也能夠為研究提供海量的可靠訓(xùn)練樣本。

技術(shù)領(lǐng)域

本發(fā)明涉及圖像處理的技術(shù)領(lǐng)域，特別是一種圖像標(biāo)簽的自動標(biāo)注與排序方法。

背景技術(shù)

隨著Web2.0技術(shù)的快速發(fā)展，社交網(wǎng)站變得越來越流行，其中最具有代表性的社交媒體網(wǎng)站Facebook，Google的社交視頻分享網(wǎng)站Youtube以及Yahoo的社交圖像分享網(wǎng)站Flickr。社交媒體的一個重要特點是用戶不僅可以創(chuàng)建自己的多媒體內(nèi)容，而且可以使用關(guān)鍵字來描述媒體的內(nèi)容，該關(guān)鍵字被稱為標(biāo)簽(Tag)。這些標(biāo)簽極大地方便了用戶組織和索引媒體內(nèi)容，為大規(guī)模信息檢索系統(tǒng)提供了有效途徑。這些社群標(biāo)注信息可以直接作為互聯(lián)網(wǎng)圖像索引，然而仍然存在大量的圖像并沒有標(biāo)注信息。眾所周知，人工標(biāo)注會耗費大量的人力物力，成本非常昂貴。由于受用戶知識背景和主觀感情的影響，導(dǎo)致用戶對圖像內(nèi)容的描述是模糊的、雜亂無序的，標(biāo)簽質(zhì)量遠遠不能滿足作為可靠的圖像索引關(guān)鍵字的需要。為了給研究提供海量的可靠訓(xùn)練樣本，自動圖像標(biāo)簽的標(biāo)注與排序技術(shù)一直是研究的熱點。對象性檢測技術(shù)是檢測一幅圖像中的潛在對象的位置，以矩形框的方式標(biāo)出，并給出對象存在的可能性，帶有很強的語義性。雖然目前有相關(guān)文獻將對象性檢測用于圖像顯著性分析、目標(biāo)檢測、圖像檢索等視覺任務(wù)，但缺少將對象性用于圖像標(biāo)簽排序任務(wù)。

2015年3月17日的道客巴巴上公開了一篇題目為《海量圖像標(biāo)簽自動排序算法的研究與實現(xiàn)》的北京交通大學(xué)碩士學(xué)位論文，該論文提出近年來,隨著電子攝影產(chǎn)品的迅速普及,數(shù)字圖像以驚人的速度涌現(xiàn)在網(wǎng)絡(luò)上。如何從海量的圖像中檢索出所需圖像成為一個亟待解決的問題。合理的圖像標(biāo)簽順序?qū)D像檢索和分析有著至關(guān)重要的作用,如何對雜亂無序的圖像標(biāo)簽進行合理有效的重排序成為當(dāng)前多媒體領(lǐng)域中一個研究熱點。該論文著重研究如何建立有效的學(xué)習(xí)模型來解決圖像標(biāo)簽的自動排序問題。現(xiàn)有的圖像標(biāo)簽排序算法大致分為兩類：基于相關(guān)性(Relevance-based)的標(biāo)簽排序算法和基于視覺顯著性(Saliency-based)的標(biāo)簽排序算法。通過分析現(xiàn)有圖像標(biāo)簽排序算法的優(yōu)缺點,該論文提出了一種自適應(yīng)的圖像標(biāo)簽排序算法。該算法同時考慮了圖像標(biāo)簽的語義相關(guān)性和標(biāo)簽的視覺顯著性特征。具體地,首先對圖像進行顯著區(qū)域檢測并生成相應(yīng)的顯著度圖；然后利用顯著度圖信息對圖像進行顯著性分析；最后進行自適應(yīng)的標(biāo)簽排序。若圖像中存在顯著區(qū)域,其標(biāo)簽按照所對應(yīng)區(qū)域的視覺顯著性高低進行重排序；反之,若圖像中不存在顯著區(qū)域,則標(biāo)簽按照與圖像的語義相關(guān)度進行重排序。在上述標(biāo)簽排序算法中,為了判別圖像是否存在顯著區(qū)域,該論文首次提出了一種基于灰度分布直方圖統(tǒng)計的顯著性分析方法。該方法充分利用圖像的顯著度圖信息,并借助LIBSVM機器學(xué)習(xí)技術(shù)對圖像是否存在顯著區(qū)域進行自動分析。為了驗證基于顯著性分析的自適應(yīng)圖像標(biāo)簽排序算法的可行性,該論文在COREL圖像庫和MSRC圖像庫上進行了實驗,并同已有的方法進行了比較。實驗結(jié)果表明,這種自適應(yīng)的標(biāo)簽排序算法是有效可行的。該方法解決的問題是標(biāo)簽的自動排序問題，但是前提是圖像已經(jīng)具有了標(biāo)簽，所以這種方法的缺點是無法實現(xiàn)對無標(biāo)簽的圖像標(biāo)簽進行自動標(biāo)注和排序。此外，論文的方法在標(biāo)簽排序的過程中通過多示例方法將標(biāo)簽對應(yīng)到圖像區(qū)域，然后根據(jù)區(qū)域的顯著性進行排序，這種方法的缺點是通過多示例方法將標(biāo)簽對應(yīng)到圖像區(qū)域準(zhǔn)確度不高，且效率較低。