[發明專利]基于關系推理的自監督學習模型訓練方法和裝置

有效

• 申請號: 201910146820.4
• 申請日: 2019-02-27
• 公開（公告）號: CN109886345B
• 公開（公告）日: 2020-11-13
• 發明（設計）人: 魯繼文;周杰;陳志祥
• 申請（專利權）人: 清華大學
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06K9/46;G06N3/04;G06N3/08;G06N5/04
• 代理公司: 北京清亦華知識產權代理事務所(普通合伙) 11201
• 代理人: 張潤

本發明提出一種基于關系推理的自監督學習模型訓練方法和裝置，通過不同的幾何變換操作獲取各個圖像對應的不同局部觀察圖像，提取相應圖像對應的局部特征，對局部特征進行融合得到相應圖像的全局特征，預測局部特征和全局特征之間對應的預測幾何變換操作，根據預測幾何變換操作和實際幾何變換操作之間的差異，構建學習模型的損失函數，通過損失函數的迭代確定學習模型的目標參數，即利用該預測幾何變換操作作為監督信號對學習模型進行訓練，實現了將預設輔助任務的關系建立于全局特征和局部特征之間，從而使得模型學習得到的特征能夠專注于對視覺對象的語義信息的捕獲，從而減少預設輔助任務對特征學習的影響，易于向目標任務的遷移。

技術領域

本發明涉及計算機視覺與機器學習技術領域，尤其涉及一種基于關系推理的自監督學習模型訓練方法和裝置。

背景技術

大規模帶標注的數據集的出現是深度學習在計算機視覺領域取得巨大成功的關鍵因素之一。然而，監督式學習存在一個主要問題：過于依賴大規模數據集，而數據集的收集和手動數據標注需要耗費大量的人力成本。從而，自監督學習方法最近得到業界的廣泛關注，自監督學習方法通過挖掘數據的性質，從中學習并生成視覺特征的語義標簽信息。

而相關技術中，自監督學習旨在通過設計輔助任務來學習可區別性的視覺特征，如此，目標標簽就能夠從訓練數據或圖像中自由獲取。可免費獲取的結構或標簽信息被用于設計輔助任務來訓練卷積神經學習模型，通過輔助任務學習得到的學習模型被認為有助于提取有用的視覺語義信息，并且有助于在目標任務上的遷移學習。但是模型的訓練依靠最小化與預設任務相關的學習目標，因此，學習的視覺表征不僅包含輸入圖像的視覺語義信息，還包含與輔助任務相關的知識，這使得表征學習與設計的輔助任務之間關系過于緊密，也就是說目前的預設輔助任務對表征學習的影響較大，阻礙了學習的表征向其他目標任務的遷移，并可能導致對性能的下降。

發明內容

本發明旨在至少在一定程度上解決相關技術中的技術問題之一。

為此，本發明提出一種基于關系推理的自監督學習模型訓練方法，通過不同的幾何變換操作獲取圖像對應的不同局部觀察圖像，提取對應的局部特征，對局部特征進行融合得到圖像的全局特征，預測局部特征和全局特征之間對應的預測幾何變換操作，利用該預測幾何變換操作作為監督信號對模型進行訓練，實現了將預設輔助任務的關系建立于全局特征和局部特征之間，從而使得模型學習得到的特征能夠專注于對視覺對象的語義信息的捕獲，從而減少預設輔助任務對特征學習的影響，易于向目標任務的遷移。

本發明提出一種基于關系推理的自監督學習模型訓練裝置。

本發明一方面實施例提出了一種基于關系推理的自監督學習模型訓練方法，方法包括以下步驟，

獲取樣本圖片集，對所述樣本圖像集中的每個樣本圖片采用選定的幾何變換操作進行幾何變換，以確定每個樣本圖片對應的不同局部觀察圖片；

將每張圖片對應的不同局部觀察圖片輸入初始學習模型，得到相應圖片對應的不同局部觀察圖片的局部特征；

將相應圖片對應的不同局部觀察圖片的局部特征進行融合，得到相應圖片的全局特征；

針對每張圖片，確定相應圖片對應的不同局部觀察圖片的局部特征和所述相應圖片的全局特征之間的預測幾何變換關系，根據所述預測幾何變換關系和相應局部觀察圖片對應的實際幾何變換關系之間的差異，構建所述學習模型的損失函數；

根據所述學習模型的損失函數，對所述學習模型進行修正，確定所述學習模型對應的目標參數，以生成所述學習模型。

本發明又一方面實施例提出了一種基于關系推理的自監督學習模型訓練裝置，所述裝置包括：

確定模塊，用于獲取樣本圖片集，對所述樣本圖像集中的每個樣本圖片采用選定的幾何變換操作進行幾何變換，以確定每個樣本圖片對應的不同局部觀察圖片；