[發明專利]一種圖像分類方法和裝置

在審

• 申請號: 202110209031.8
• 申請日: 2021-02-24
• 公開（公告）號: CN113033612A
• 公開（公告）日: 2021-06-25
• 發明（設計）人: 黃高;王朝飛;宋士吉
• 申請（專利權）人: 清華大學
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06K9/46;G06N3/04;G06N3/08
• 代理公司: 北京安信方達知識產權代理有限公司 11262
• 代理人: 蔣冬梅;栗若木

1.一種圖像分類方法，其特征在于，所述方法包括：

獲取待分類的事物圖像以及預先訓練好的前景目標提取器和最終分類器；

將所述待分類的事物圖像輸入所述前景目標提取器，獲取所述待分類的事物圖像的前景目標圖像；

將所述待分類的事物圖像的前景目標圖像輸入所述最終分類器，由所述最終分類器輸出關于所述待分類的事物圖像的分類結果；

其中，所述最終分類器是由預先訓練好的圖像特征提取器和小樣本事物分類器構成的；

所述圖像特征提取器是以大樣本的已知類型事物的前景目標圖像為訓練數據訓練獲得的；

所述小樣本事物分類器是以擴充后的新類型事物的前景目標圖像為訓練數據訓練獲得的；擴充方法包括:采用姿態轉換生成器將新類型事物的前景目標圖像進行姿態轉換后獲得擴充的前景目標圖像。

2.根據權利要求1所述的圖像分類方法，其特征在于，所述前景目標提取器包括：顯著性目標檢測模型以及包括多個圖像操作的圖像操作模塊；

其中，所述圖像操作依次包括以下一種或多種：像素級邏輯操作、乘法操作、掩模操作和放大操作；

所述顯著性目標檢測模型用于獲取所述顯著性目標檢測模型的輸入圖像的顯著圖，所述顯著圖為包含前景目標的姿態的特征圖；所述圖像操作模塊用于對所述顯著圖進行圖像處理。

3.根據權利要求2所述的圖像分類方法，其特征在于，獲取所述前景目標提取器包括：獲取所述顯著性目標檢測模型；

所述獲取所述顯著性目標檢測模型包括：采用由所述已知類型事物的圖像以及該圖像對應的顯著圖構成的第一訓練集對構建的卷積神經網絡進行訓練，獲取所述顯著性目標檢測模型。

4.根據權利要求1所述的圖像分類方法，其特征在于，所述圖像特征提取器的獲取方法包括：

基于大樣本的已知類型事物的第一圖像和所述前景目標提取器生成所述第一圖像的前景目標圖像，并采用所述前景目標圖像對卷積神經網絡進行訓練獲取所述圖像特征提取器。

5.根據權利要求1所述的圖像分類方法，其特征在于，所述小樣本事物分類器的獲取方法包括：

基于大樣本的已知類型事物的第一圖像、小樣本的新類型事物的第二圖像、預先訓練好的前景目標提取器和預先訓練好的姿態轉換生成器，生成關于所述新類型事物的新樣本；

將所述新樣本擴充到所述小樣本中，構成關于所述新類型事物的擴充樣本集；

采用所述擴充樣本集訓練獲得所述小樣本事物分類器。

6.根據權利要求5所述的圖像分類方法，其特征在于，所述基于大樣本的已知類型事物的第一圖像、小樣本的新類型事物的第二圖像、預先訓練好的前景目標提取器和預先訓練好的姿態轉換生成器，生成關于所述新類型事物的新樣本，包括：

對所述第一圖像集和所述第二圖像集分別設置類型標簽，并獲取所述前景目標提取器和所述姿態轉換生成器；

將設置有類型標簽的第一圖像集和第二圖像集分別輸入預先訓練好的前景目標提取器，并分別獲取關于所述已知類型事物的第一前景目標圖像集和關于所述新類型事物的第二前景目標圖像集；

將所述第一前景目標圖像集和所述第二前景目標圖像集輸入所述姿態轉換生成器，以將所述新類型事物的姿態轉換為所述已知類型事物所具有的姿態；并由所述姿態轉換生成器輸出關于所述新類型事物的姿態轉換圖像；

將獲取的多張姿態轉換圖像作為所述新類型事物的新樣本。

7.根據權利要求5或6所述的圖像分類方法，其特征在于，所述姿態轉換生成器的獲取方法包括：

從由大樣本的已知類型事物的第一圖像構成的第二訓練集中提取出多胞胎訓練集；

采用所述多胞胎訓練集對構建的自編碼器神經網絡進行訓練，獲取所述姿態轉換生成器。