[發明專利]基于變換識別的自監督表征學習方法及裝置

有效

• 申請號: 201910134114.8
• 申請日: 2019-02-22
• 公開（公告）號: CN109858563B
• 公開（公告）日: 2021-04-06
• 發明（設計）人: 魯繼文;周杰;陳志祥
• 申請（專利權）人: 清華大學
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06T3/60
• 代理公司: 北京清亦華知識產權代理事務所(普通合伙) 11201
• 代理人: 張潤

1.一種基于變換識別的自監督表征學習方法，其特征在于，包括以下步驟：

步驟S1，根據訓練圖片集和選定的縮放操作和旋轉操作構建變換圖像；

步驟S2，初始化神經網絡參數，并獲取每張原始圖像和變換圖像的表征；

步驟S3，對所述每張原始圖像和變換圖像的表征進行分組，并構建損失函數；

步驟S4，通過所述損失函數對表征求導，并更新學習到的表征和更新網絡參數；以及

步驟S5，通過所述損失函數持續更新所述表征與所述網絡參數，直到滿足預設條件，訓練結束。

2.根據權利要求1所述的基于變換識別的自監督表征學習方法，其特征在于，所述步驟S1包括：

選取不同的所述縮放操作g_Z＝Z(p，m)，其中，p為縮放中心，m為縮放倍數，和所述旋轉操作g_R＝R(d)，其中，d為旋轉角度；

使用所述縮放操作和所述旋轉操作對訓練集里的圖片X＝{x₁,x₂,…,x_N}分別進行變換操作，以得到每張圖片對應的變換后的圖片g(x)。

3.根據權利要求2所述的基于變換識別的自監督表征學習方法，其特征在于，所述步驟S2包括：

初始化所述神經網絡參數；

使用初始化的神經網絡獲取所述每張原始圖像和所述變換圖像的表征F(g(x))。

4.根據權利要求3所述的基于變換識別的自監督表征學習方法，其特征在于，所述步驟S3包括：

對所述表征F(g(x))按照縮放和旋轉進行分組，以得到縮放分組和旋轉分組；

分別對所述縮放分組和所述旋轉分組使用交叉熵得到損失函數l_Z和損失函數l_R；

通過所述損失函數l_Z和所述損失函數l_R加權求和并對所有訓練圖片求和得到最終損失函數L。

5.根據權利要求1或4所述的基于變換識別的自監督表征學習方法，其特征在于，所述步驟S4包括：

根據目標函數對局部特征求導；

根據隨機梯度下降法更新所述表征與所述網絡參數。

6.一種基于變換識別的自監督表征學習裝置，其特征在于，包括：

構建模塊，用于根據訓練圖片集和選定的縮放操作和旋轉操作構建變換圖像；

獲取模塊，用于初始化神經網絡參數，并獲取每張原始圖像和變換圖像的表征；

分組模塊，用于對所述每張原始圖像和變換圖像的表征進行分組，并構建損失函數；

更新模塊，用于通過所述損失函數對表征求導，并更新學習到的表征和更新網絡參數；以及

訓練模塊，用于通過所述損失函數持續更新所述表征與所述網絡參數，直到滿足預設條件，訓練結束。

7.根據權利要求6所述的基于變換識別的自監督表征學習裝置，其特征在于，所述構建模塊包括：

選取子模塊，用于選取不同的所述縮放操作g_Z＝Z(p，m)，其中，p為縮放中心，m為縮放倍數，和所述旋轉操作g_R＝R(d)，其中，d為旋轉角度；

變換子模塊，用于使用所述縮放操作和所述旋轉操作對訓練集里的圖片X＝{x₁,x₂,…,x_N}分別進行變換操作，以得到每張圖片對應的變換后的圖片g(x)。

8.根據權利要求7所述的基于變換識別的自監督表征學習裝置，其特征在于，所述獲取模塊包括：

初始化子模塊，用于初始化所述神經網絡參數；

獲取子模塊，用于使用初始化的神經網絡獲取所述每張原始圖像和所述變換圖像的表征F(g(x))。