[發明專利]利用語義空間信息的針對少量訓練數據的圖像分類方法

有效

• 申請號: 201710603221.1
• 申請日: 2017-07-22
• 公開（公告）號: CN107491782B
• 公開（公告）日: 2020-11-20
• 發明（設計）人: 付彥偉;林航宇;馬建奇;姜育剛;張寅達;薛向陽
• 申請（專利權）人: 復旦大學
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06N3/04
• 代理公司: 上海正旦專利代理有限公司 31200
• 代理人: 陸飛;陸尤

本發明屬于計算機圖像處理技術領域，具體為利用語義空間信息的針對少量訓練數據的圖像分類方法。本發明利用語義空間信息聯合自動編碼器來擴增數據，從而在少量樣本情況下獲得更多有效的樣本；利用這些擴增的數據訓練一個基于深度神經網絡的分類器；再將分類器網絡與特征提取網絡連接在一起訓練，獲得一個端到端的神經網絡，實現給定一張圖片，直接輸出分類信息的功能。本發明使用數據擴增的方法來增加所擁有的數據，從而使得訓練深度神經網絡變的更加有效；算法是端到端的神經網絡，所以只需要給出一張圖片，就可以給出相應的分類結果。

技術領域

本發明屬于計算機圖像處理技術領域，具體涉及利用語義空間信息的針對少量訓練數據的圖像分類方法。

背景技術

目前在機器學習以及深度學習領域取得的很大一部分進展是依賴于大量的標注的數據。但是在實際情況下，獲取大量的標注的數據需要耗費大量的人力物力，在多數情況下這是不現實的。另一方面，我們知道人類往往可以在只有少量的數據情況下而學習到如何正確的識別物體(比如，我們在看到幾次蘋果之后，就可以識別其他的蘋果)。所以說研究如何在少量數據的情況下進行分類器的訓練是很有意義并且符合實際的一件事情，事實上這個問題在人工智能的領域被稱為One-shot Learning問題。雖然One-shot Learning是一個經典的問題，但是對于細粒度的圖像識別問題，仍然沒有十分有效的方法與模型。

One-shot Learning問題是由人類具有從少數樣本中學習出如何識別物體的能力而引出的。然而從某種意義上，利用少量數據進行訓練與目前已有的機器學習方法是相悖的[1]。在這種情況下，一般的基于梯度優化的模型都不太適用，所以最先發展的模型是Bayesian nonparametric methods[2]，deep generative models[3]，Bayesian auto-encoders[4]。在更廣泛的情況下，可以利用已存在的另一個領域的知識來輔助當前領域的學習，這被稱為遷移學習(transfer learning)[5]。遷移學習的關鍵是利用其他領域已有的知識來進行學習。而在我們的課題中，使用的方法也可以看作是一種遷移學習。從另一個角度看，解決One-shot Learning的問題還有一種方法就是擴增數據，我們知道機器學習的算法都需要大的數據量，如果可以通過已有的數據再利用其他知識產生更多有效的數據，這也同樣是解決問題的方法。目前有幾種相關的方法：(1)Adaptively learning fromlarge-amount of off-shelf trained models[6]；(2)Borrowing examples fromrelevant categories or vocabularies[7]；

(3)composing synthesized representations[8]。上述方法基本上只是使用單一的方法來解決這個問題，并且他們解決額問題大多都是對粗粒度的類別分類。而在本發明中，利用語義空間的知識來進行data augmentation深度學習分類器的訓練，來解決One-shot情況下的細粒度圖像識別問題。

發明內容

本發明的目的在于提出一種利用語義空間信息的針對少量訓練數據的圖像分類方法，以解決One-shot情況下的細粒度圖像識別問題。

本發明提出的利用語義空間信息的針對少量訓練數據的圖像分類方法，是利用語義空間信息聯合自動編碼器來擴增數據，從而在少量樣本情況下獲得更多有效的樣本；利用這些擴增的數據訓練一個基于深度神經網絡的分類器；再將分類器網絡與特征提取網絡連接在一起訓練，獲得一個端到端的神經網絡，實現給定一張圖片，直接輸出分類信息的功能。

本發明方法具體的步驟如下：

(1)切分數據集為訓練數據集以及測試數據集，利用同一神經網絡提取兩個數據集的圖像特征。這里同一神經網絡是指利用已有的有效的特征提取神經網絡，如vgg16網絡；