[發(fā)明專利]基于關(guān)系推理的自監(jiān)督學(xué)習(xí)模型訓(xùn)練方法和裝置

有效

• 申請(qǐng)?zhí)枺?/td>: 201910146820.4
• 申請(qǐng)日: 2019-02-27
• 公開(kāi)（公告）號(hào): CN109886345B
• 公開(kāi)（公告）日: 2020-11-13
• 發(fā)明（設(shè)計(jì)）人: 魯繼文;周杰;陳志祥
• 申請(qǐng)（專利權(quán)）人: 清華大學(xué)
• 主分類號(hào): G06K9/62
• 分類號(hào): G06K9/62;G06K9/46;G06N3/04;G06N3/08;G06N5/04
• 代理公司: 北京清亦華知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11201
• 代理人: 張潤(rùn)

1.一種基于關(guān)系推理的自監(jiān)督學(xué)習(xí)模型訓(xùn)練方法，其特征在于，包括以下步驟：

獲取樣本圖片集，對(duì)所述樣本圖片集中的每個(gè)樣本圖片采用選定的幾何變換操作進(jìn)行幾何變換，以確定每個(gè)樣本圖片對(duì)應(yīng)的不同局部觀察圖片；

將每張圖片對(duì)應(yīng)的不同局部觀察圖片輸入初始學(xué)習(xí)模型，得到相應(yīng)圖片對(duì)應(yīng)的不同局部觀察圖片的局部特征；

將相應(yīng)圖片對(duì)應(yīng)的不同局部觀察圖片的局部特征進(jìn)行融合，得到相應(yīng)圖片的全局特征；

針對(duì)每張圖片，確定相應(yīng)圖片對(duì)應(yīng)的不同局部觀察圖片的局部特征和所述相應(yīng)圖片的全局特征之間的預(yù)測(cè)幾何變換關(guān)系，根據(jù)所述預(yù)測(cè)幾何變換關(guān)系和相應(yīng)局部觀察圖片對(duì)應(yīng)的實(shí)際幾何變換關(guān)系之間的差異，構(gòu)建所述學(xué)習(xí)模型的損失函數(shù)；

根據(jù)所述學(xué)習(xí)模型的損失函數(shù)，對(duì)所述學(xué)習(xí)模型進(jìn)行修正，確定所述學(xué)習(xí)模型對(duì)應(yīng)的目標(biāo)參數(shù)，以生成所述學(xué)習(xí)模型。

2.根據(jù)權(quán)利要求1所述的一種基于關(guān)系推理的自監(jiān)督學(xué)習(xí)模型訓(xùn)練方法，其特征在于，所述對(duì)所述樣本圖片集中的每個(gè)樣本圖片采用選定的幾何變換操作進(jìn)行幾何變換，以確定每個(gè)樣本圖片對(duì)應(yīng)的不同局部觀察圖片，包括：

根據(jù)選取的幾何變換操作，對(duì)樣本圖片集中的每張圖片分別進(jìn)行幾何變換操作，得到每個(gè)圖片對(duì)應(yīng)不同幾何變換操作的局部觀察圖片g_j(x_i)，其中，x_i代表第i個(gè)圖片，取值為[1,2,…n]，g_j代表第j個(gè)幾何變換操作，取值為[1,2,…m]。

3.根據(jù)權(quán)利要求2所述的學(xué)習(xí)模型訓(xùn)練方法，其特征在于，所述將相應(yīng)圖片對(duì)應(yīng)的不同局部觀察圖片的局部特征進(jìn)行融合，得到相應(yīng)圖片的全局特征，包括：

將每張圖片對(duì)應(yīng)的不同局部觀察圖片的局部特征進(jìn)行融合，得到相應(yīng)圖片的全局特征R_i，R_i＝max(F(g_j(x_i)))，其中，F(xiàn)(g_j(x_i))為每張圖片對(duì)應(yīng)的不同局部觀察圖片的局部特征，max()函數(shù)表示執(zhí)行按位融合操作。

4.根據(jù)權(quán)利要求3所述的學(xué)習(xí)模型訓(xùn)練方法，其特征在于，所述針對(duì)每張圖片，確定相應(yīng)圖片對(duì)應(yīng)的不同局部觀察圖片的局部特征和所述相應(yīng)圖片的全局特征之間的預(yù)測(cè)幾何變換關(guān)系，根據(jù)所述預(yù)測(cè)幾何變換關(guān)系和相應(yīng)局部觀察圖片對(duì)應(yīng)的實(shí)際幾何變換關(guān)系之間的差異，構(gòu)建所述學(xué)習(xí)模型的損失函數(shù)，包括：

針對(duì)每張圖片對(duì)應(yīng)的每一個(gè)局部觀察圖片，利用預(yù)測(cè)模塊，預(yù)測(cè)相應(yīng)局部觀察圖片的局部特征和相應(yīng)圖片的全局特征之間對(duì)應(yīng)的預(yù)測(cè)幾何變換關(guān)系Φ(F(g_j(x_i)),R_i)；

根據(jù)所述預(yù)測(cè)幾何變換關(guān)系和相應(yīng)局部觀察圖片對(duì)應(yīng)的實(shí)際幾何變換關(guān)系之間的差異，通過(guò)評(píng)估函數(shù)構(gòu)建相應(yīng)圖片對(duì)應(yīng)的損失函數(shù)loss(Φ(F(g_j(x_i)),R_i),l_j)，其中，l_j為相應(yīng)局部觀察圖片對(duì)應(yīng)的實(shí)際幾何變換關(guān)系，用于指示輸入的局部觀察圖片的幾何變換操作是否是第j個(gè)幾何變換操作g_j；

將樣本圖片集中的所有圖片對(duì)應(yīng)的損失函數(shù)累加，得到模型的損失函數(shù)。

5.根據(jù)權(quán)利要求1-4任一所述的模型訓(xùn)練方法，其特征在于，所述根據(jù)所述學(xué)習(xí)模型的損失函數(shù)，對(duì)所述學(xué)習(xí)模型進(jìn)行修正，確定所述學(xué)習(xí)模型對(duì)應(yīng)的目標(biāo)參數(shù)，以生成所述學(xué)習(xí)模型，包括：

根據(jù)隨機(jī)梯度下降法持續(xù)更新局部特征；

根據(jù)更新的局部特征，更新對(duì)應(yīng)的全局特征，迭代求解確定最小化的目標(biāo)損失函數(shù)和模型的目標(biāo)參數(shù)值。