[發明專利]圖像分類方法和裝置及風格遷移模型訓練方法和裝置

在審

• 申請號: 202010591392.9
• 申請日: 2020-06-24
• 公開（公告）號: CN111753908A
• 公開（公告）日: 2020-10-09
• 發明（設計）人: 楊大陸;楊葉輝;王磊;許言午
• 申請（專利權）人: 北京百度網訊科技有限公司
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06K9/46;G06N3/04;G06N3/08
• 代理公司: 北京市鑄成律師事務所 11313
• 代理人: 閻敏;楊瑾瑾

本申請實施例公開了一種圖像分類方法和裝置及風格遷移模型訓練方法和裝置，涉及人工智能中深度學習、云計算和計算機視覺領域。具體實現方案為：將第一風格圖像輸入風格遷移模型，得到與第一風格圖像對應的第二風格圖像；將第二風格圖像輸入圖像分類模型，得到第二風格圖像的分類結果；其中，風格遷移模型基于第一風格的樣本圖像和第二風格的樣本圖像訓練得到；圖像分類模型基于第二風格的樣本圖像訓練得到。本申請實施例能夠提高圖像分類的準確度。本申請實施例可以應用于眼底篩查。

技術領域

本申請涉及人工智能領域，尤其涉及人工智能中深度學習、云計算和計算機視覺領域。

背景技術

在深度學習模型的應用中，有時會出現模型訓練過程中采用的訓練集樣本數據與模型實際使用過程中處理的數據風格不一致的情況，導致模型實際場景的準確性相比實驗室準確性大幅下降。

例如，近年來，基于深度學習在眼底照片上進行眼底疾病自動診斷的算法已廣泛被研究和應用，該類算法可在一定條件下準確地篩查出各類眼底病、青光眼等。然而，由于醫療行業的敏感性，眼底照片數據通常不會共享，因此實驗室訓練深度學習模型所用的眼底圖經常和實際場景中所獲取的眼底圖并非來自同一類型的眼底相機，導致兩種眼底圖的風格不同；這種圖像風格的差異，導致深度學習模型在實際使用場景中的準確性相比實驗室準確性大幅下降的情況。

針對上述訓練集與實際場景不同導致的深度學習模型準確性下降的問題，目前一般采用在模型訓練時加入部分實際場景樣本，并混淆區分訓練集和實際場景的特征，從而引導用于分類的深度學習模型只學習真正對分類(例如疾病診斷)有效的特征和判別模式。這種方式的缺點是需要在訓練分類模型(如疾病判別模型)時即加入實際場景中的樣本，使得其無法滿足多場景快速部署的需求。同時，它通常要求實際場景中的樣本帶有標注，而在一些領域的實際場景中標注質量遠不如實驗室場景，因此這類方法對分類模型準確性提升的實際效果不佳。

發明內容

本申請提供了一種圖像分類方法和裝置及風格遷移模型訓練方法和裝置。

根據本申請的第一方面，提供了一種圖像分類方法，包括：

將第一風格圖像輸入風格遷移模型，得到與第一風格圖像對應的第二風格圖像；

將第二風格圖像輸入圖像分類模型，得到第二風格圖像的分類結果；其中，

風格遷移模型基于第一風格的樣本圖像和第二風格的樣本圖像訓練得到；圖像分類模型基于第二風格的樣本圖像訓練得到。

根據本申請的第二方面，提供了一種風格遷移模型訓練方法，包括：

設置第一殘差生成網絡、第二殘差生成網絡、圖像特征提取器、第一判別器和第二判別器；其中，第一殘差生成網絡用于生成第一風格圖像轉化為第二風格圖像的殘差；第二殘差生成網絡用于生成第二風格圖像轉化為第一風格圖像的殘差；圖像特征提取器用于提取第一風格圖像或第二風格圖像的特征信息；第一判別器用于判斷圖像是否為第一風格圖像；第二判別器用于判斷圖像是否為第二風格圖像；

輸入訓練樣本，利用第一殘差生成網絡、第二殘差生成網絡、第一判別器和第二判別器的輸出結果計算損失函數；

調整第一殘差生成網絡、第二殘差生成網絡、第一判別器和第二判別器中至少一項中的參數，使損失函數的值趨向于最優值。

根據本申請的第三方面，提供一種圖像分類裝置，包括：

第一輸入模塊，用于將第一風格圖像輸入風格遷移模型，得到與第一風格圖像對應的第二風格圖像；

第二輸入模塊，用于將第二風格圖像輸入圖像分類模型，得到第二風格圖像的分類結果；其中，

風格遷移模型基于第一風格的樣本圖像和第二風格的樣本圖像訓練得到；圖像分類模型基于第二風格的樣本圖像訓練得到。