[發明專利]一種基于蒙特卡羅數據均衡的圖像自動標注方法

有效

• 申請號: 201610007726.7
• 申請日: 2016-01-06
• 公開（公告）號: CN105701502B
• 公開（公告）日: 2020-11-10
• 發明（設計）人: 柯逍;杜明智;周銘柯
• 申請（專利權）人: 福州大學
• 主分類號: G06K9/62
• 分類號: G06K9/62
• 代理公司: 福州元創專利商標代理有限公司 35100
• 代理人: 蔡學俊

本發明涉及一種基于蒙特卡羅數據均衡的圖像自動標注方法，在公共圖像庫上通過對訓練樣本圖像進行區域分割，分割后具有不同特征描述的區域對應一個標注詞，再對各個不同類別的圖像集進行蒙特卡羅數據均衡，提取均衡之后各個圖像的多尺度特征，最后將提取后的特征向量輸入到魯棒性最小二乘增量極限學習機中進行分類訓練，得到圖像自動標注中的分類模型。對于待標注的圖像，通過對其進行區域分割后，采用相同的多尺度特征融合提取方法，將提取后的特征向量輸入到最小二乘增量極限學習機中，即可得到最終的圖像標注結果。相比傳統圖像自動標注方法，本發明的方法能更有效地對圖像進行標注，時效性強，可用于大規模圖像的自動標注，具有實際應用意義。

技術領域

本發明涉及涉及計算機視覺和圖像處理領域，特別是一種基于蒙特卡羅數據均衡的圖像自動標注方法。

背景技術

圖像理解即圖像的語義理解，它把圖像作為對象，知識作為核心，著重研究圖像中存在著的目標、目標之間的相互關系以及圖像中所描繪的基于人們認知的場景。圖像語義理解的最終目標就是用來滿足人們對圖像的不同需求，充分理解圖像中所隱含的語義內容是實現圖像管理的重要步驟。早些時候，圖像語義庫的構建往往都是通過人工的形式來完成的。但是隨著圖像數量呈現爆炸式的增長，如果依然還是采用人工的方式對圖像的語義進行標注的話，那么將會耗費巨大的人力物力，不具備現實可行性。此外，由于人的主觀意向上存在的一定的差別，不同經歷以及不同背景的人對同一副圖像往往有不同的理解，所以人工標注往往存在著不穩定和不確定的因素。因此，圖像自動標注的研究開始受到人們的重視，簡單來說，圖像自動標注的核心思想就是通過人工智能實現機器自動地將可以表達出圖像蘊含信息的詞匯添加到圖像描述中。圖像標注的自動實現可以最大限度的降低人工成本和機器資源，極大的提高圖像管理效率和圖像理解的認識。

圖像自動標注的實現過程大致可以分為以下兩個階段：

(1)訓練階段：首先要對給定的圖像數據庫中的訓練樣本進行一定方式的標注，其次通過學習圖像中諸如紋理，形狀，顏色等底層視覺特征知識，然后與高層的圖像語義之間的做一個映射關系，最后建立好相應的模型并且將模型的參數調到最優，便可以得到了一個圖像自動標注系統。

(2)標注階段：給定相應圖像測試集，采用與訓練過程中相同的特征提取方式，將其輸入到步驟(1)所構建好的模型中，通過某種度量算法，選擇與其最接近的一個或者多個標注詞進行標注。

近年來隨著人工智能技術以及機器學習的快速發展，出現了多種圖像自動標注模型。根據在建模方法上采用的不同思想，我們可以把圖像自動標注模型大致分為兩個類別。第一類圖像自動標注模型是基于統計概率思想，第二類圖像自動標注模型是基于分類思想。

在圖像標注模型中應用比較廣的一個方法就是從統計概率的角度出發，通過諸如圖像的紋理、形狀、顏色、邊緣等底層視覺特征的提取，計算出其與某類或者某些關鍵詞之間的相關性或聯合概率，最后將概率最大或者關聯程度最高的一個或者多個關鍵詞作為該圖的標注詞。代表性的方法有TM(Translation Model)機器翻譯模型。該方法將圖像的底層視覺特征和文本關鍵詞當做圖像的兩種語言，圖像的自動標注過程就變為一個語言的翻譯過程。算法的思想可以描述為：將訓練集圖像分割為若干個區域，對集合中的區域進行聚類，將每一種聚類稱之為斑點，那么圖像的標注問題就轉化從圖像的視覺特征到文本關鍵詞之間的翻譯工作，例如將德語翻譯成法語一樣。該方法相比共生模型來說，性能上有了一定的提高，但是這種算法有一個弊端就是，標注結果往往傾向于頻率高的詞匯，對頻率低的詞匯標注效果很不理想。