[發明專利]訓練圖像處理模型的方法和裝置

在審

• 申請號: 202010214454.4
• 申請日: 2020-03-24
• 公開（公告）號: CN111507378A
• 公開（公告）日: 2020-08-07
• 發明（設計）人: 魏龍輝;肖安;謝凌曦;田奇
• 申請（專利權）人: 華為技術有限公司
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06N3/04;G06N3/08
• 代理公司: 北京龍雙利達知識產權代理有限公司 11329
• 代理人: 陳洪艷;王君

本申請中的技術方案可以應用于人工智能領域中的計算機視覺領域。本申請提供的訓練圖像處理模型的技術方案中，獲得增強圖像之后，獲取增強圖像的軟標簽，并基于該軟標簽指導圖像處理模型的訓練，以提高圖像處理模型的性能。此外，本申請的技術方案中，可以從增強圖像的軟標簽中選出較高的分值來指導圖像處理模型的訓練，從而進一步提高圖像處理模型的性能。

技術領域

本申請涉及人工智能領域，并且更具體地，涉及計算機視覺領域中訓練圖像處理模型的方法和裝置。

背景技術

人工智能(artificial intelligence,AI)是利用數字計算機或者數字計算機控制的機器模擬、延伸和擴展人的智能，感知環境、獲取知識并使用知識獲得最佳結果的理論、方法、技術及應用系統。換句話說，人工智能是計算機科學的一個分支，它企圖了解智能的實質，并生產出一種新的能以人類智能相似的方式作出反應的智能機器。人工智能也就是研究各種智能機器的設計原理與實現方法，使機器具有感知、推理與決策的功能。人工智能領域的研究包括機器人，自然語言處理，計算機視覺，決策與推理，人機交互，推薦與搜索，AI基礎理論等。

隨著人工智能技術的快速發展，神經網絡，例如深度神經網絡，近年來在圖像、視頻以及語音等多種媒體信號的處理與分析中取得了很大的成就。一個性能優良的神經網絡一般都需要大量的訓練數據才能獲得比較理想的結果。在數據量有限的情況下，可以通過數據增強(data augmentation)來增加訓練樣本的多樣性，提高網絡模型的魯棒性，避免過擬合。

自動數據增強技術是現在業界非常流行的一種數據增強方法，該技術在目標任務中搜索出較好甚至最好的數據增強策略，并利用搜索出的數據增強策略來對現有的訓練數據集進行數據增強，以達到豐富訓練數據集的目的，這使得使用該增強后的數據集上對模型進行訓練可以大幅提升模型的性能。

盡管自動數據增強技術在各個任務上大獲成功，但是，其在實際應用中還存在著許多問題。其中，最關建的問題是該技術一般是在整個數據集上進行數據增強策略搜索的，其策略雖然相對于整體數據集而言可能是較佳的，但是并不一定對每張圖像都是較優的。

例如，“沿X軸坐標進行平移”操作能夠讓某些圖像的背景從圖像中移出去，在這種情況下顯然是對圖像分類任務有幫助的。但是，該操作也可能讓某些圖像的主體從圖像中移出去，顯然，這種情況對任務是有害的。

又如，一些亮度操作也很可能會改變圖像中主體的原本樣貌，使改變后的圖像與自身類別的相似度變得更遠，而與其他類別的相似度變得更小。

諸如上述已經改變了圖像主體類別特征的增強圖像統稱為數據增強后的離群點。顯然，在訓練模型的時候，還用原始圖像的類別標簽對這些離群點進行指導是不恰當的，這樣會增加圖像處理模型學習的難度，進而降低圖像處理模型的性能。

發明內容

本申請提供一種訓練圖像處理模型的方法，有助于提高訓練后的圖像處理模型的性能。

第一方面，本申請提供一種訓練圖像處理模型的方法，該方法包括：根據第一圖像處理模型獲取增強圖像的第一軟標簽，所述增強圖像為使用數據增強策略對訓練圖像進行數據增強得到的圖像，所述第一軟標簽指示所述增強圖像屬于多個分類中每個分類的置信度；根據所述增強圖像和所述增強圖像的第一軟標簽，對第二圖像處理模型進行訓練。

其中，第一圖像處理模型可以理解為對圖像進行處理的模型，可以包括但不限于：圖像分割模型，圖像分類模型，物體檢測模型，圖像識別模型。第一圖像處理模型可以由卷積神經網絡、循環神經網絡等網絡模型構成。第一圖像處理模型也可以稱為教師模型，第二圖像處理模型可以稱為學生模型。本申請的訓練方法可以看作是一種知識蒸餾與數據增強相結合的訓練方法。

第一軟標簽指示的置信度可以是度量增強圖像屬于相應分類的分數或分值，也可以是增強圖像屬于相應分類的概率。