[發(fā)明專利]訓(xùn)練方法、裝置、電子設(shè)備以及計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)

在審

• 申請(qǐng)?zhí)枺?/td>: 202010763380.X
• 申請(qǐng)日: 2020-07-31
• 公開（公告）號(hào): CN112307883A
• 公開（公告）日: 2021-02-02
• 發(fā)明（設(shè)計(jì)）人: 潘瀅煒;姚霆;梅濤
• 申請(qǐng)（專利權(quán)）人: 北京京東尚科信息技術(shù)有限公司;北京京東世紀(jì)貿(mào)易有限公司
• 主分類號(hào): G06K9/00
• 分類號(hào): G06K9/00;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 中國(guó)貿(mào)促會(huì)專利商標(biāo)事務(wù)所有限公司 11038
• 代理人: 孫玉;王莉莉

1.一種訓(xùn)練方法，包括：

針對(duì)每個(gè)樣本視頻，選取該樣本視頻的多幀圖像，并從所述多幀圖像分別提取圖像塊，將提取的圖像塊中的一個(gè)圖像塊作為查詢圖像塊；

將各個(gè)圖像塊輸入視覺(jué)特征提取模型，得到各個(gè)圖像塊對(duì)應(yīng)的編碼，其中，所述查詢圖像塊對(duì)應(yīng)的編碼作為查詢編碼；

根據(jù)各個(gè)樣本視頻的所述查詢編碼與同一樣本視頻中其他圖像塊對(duì)應(yīng)的編碼之間的相似度，以及各個(gè)樣本視頻的所述查詢編碼與不同樣本視頻中圖像塊對(duì)應(yīng)的編碼之間的相似度，確定第一對(duì)比損失函數(shù)，其中，所述查詢編碼與同一樣本視頻中其他圖像塊對(duì)應(yīng)的編碼之間的相似度越高，所述查詢編碼與不同樣本視頻中圖像塊對(duì)應(yīng)的編碼之間的相似度越低，所述第一對(duì)比函數(shù)的值越小；

根據(jù)所述視覺(jué)特征提取模型的損失函數(shù)調(diào)整所述視覺(jué)特征提取模型的參數(shù)，對(duì)所述視覺(jué)特征提取模型進(jìn)行訓(xùn)練，其中，所述視覺(jué)特征提取模型的損失函數(shù)包括所述第一對(duì)比損失函數(shù)。

2.根據(jù)權(quán)利要求1所述的訓(xùn)練方法，其中，所述查詢圖像塊所在的幀作為錨定幀，所述提取的圖像塊中還包括從所述錨定幀中提取的與所述查詢圖像塊不同的另一圖像塊，作為第一鍵值圖像塊，所述方法還包括：

根據(jù)各個(gè)樣本視頻的所述查詢編碼與所述第一鍵值圖像塊對(duì)應(yīng)的編碼之間的相似度，以及所述查詢編碼與同一樣本視頻中其他幀提取的圖像塊對(duì)應(yīng)的編碼之間的相似度，確定第二對(duì)比損失函數(shù)，其中，所述查詢編碼與所述第一鍵值圖像塊對(duì)應(yīng)的編碼之間的相似度越高，所述查詢編碼與同一樣本視頻中其他幀提取的圖像塊對(duì)應(yīng)的編碼之間的相似度越低，所述第二對(duì)比損失函數(shù)的值越小；

其中，所述視覺(jué)特征提取模型的損失函數(shù)還包括第二對(duì)比損失函數(shù)。

3.根據(jù)權(quán)利要求1或2所述的訓(xùn)練方法，其中，所述查詢圖像塊所在的幀作為錨定幀，所述錨定幀為所述多幀圖像中按時(shí)間順序排列的第一幀或最后一幀，所述方法還包括：

針對(duì)每個(gè)樣本視頻，按照預(yù)設(shè)順序?qū)⑺霾樵兙幋a與同一樣本視頻中其他幀提取的圖像塊對(duì)應(yīng)的編碼組合成序列編碼；

將所述序列編碼輸入分類模型，得到所述查詢圖像塊與同一樣本視頻中其他幀提取的圖像塊在該樣本視頻中的預(yù)測(cè)時(shí)間順序；

根據(jù)各個(gè)樣本視頻對(duì)應(yīng)的所述預(yù)測(cè)時(shí)間順序，以及所述查詢圖像塊與同一樣本視頻中其他幀提取的圖像塊在該樣本視頻中真實(shí)時(shí)間順序，確定第三損失函數(shù)；

其中，所述視覺(jué)特征提取模型的損失函數(shù)還包括第三對(duì)比損失函數(shù)。

4.根據(jù)權(quán)利要求1所述的訓(xùn)練方法，其中，所述視覺(jué)特征提取模型包括查詢編碼器和鍵值編碼器，所述查詢編碼器用于獲得所述查詢編碼，所述鍵值編碼器用于獲得所述查詢圖像塊之外的其他圖像塊對(duì)應(yīng)的編碼；

所述根據(jù)所述視覺(jué)特征提取模型的損失函數(shù)調(diào)整所述視覺(jué)特征提取模型的參數(shù)包括：

每次迭代中，根據(jù)所述視覺(jué)特征提取模型的損失函數(shù)調(diào)整所述查詢編碼器的本次迭代的參數(shù)，根據(jù)所述查詢編碼器的上一次迭代的參數(shù)和所述鍵值編碼器上一次迭代的參數(shù)調(diào)整所述鍵值編碼器本次迭代的參數(shù)。

5.根據(jù)權(quán)利要求1所述的訓(xùn)練方法，其中，所述查詢圖像塊所在的幀作為錨定幀，所述提取的圖像塊中還包括從所述錨定幀中提取的與所述查詢圖像塊不同的另一圖像塊，作為第一鍵值圖像塊，從同一樣本視頻的兩個(gè)其他幀中分別提取一個(gè)圖像塊，作為第二鍵值圖像塊和第三鍵值圖像塊；

所述根據(jù)各個(gè)樣本視頻的所述查詢編碼與同一樣本視頻中其他圖像塊對(duì)應(yīng)的編碼之間的相似度，以及各個(gè)樣本視頻的所述查詢編碼與不同樣本視頻中圖像塊對(duì)應(yīng)的編碼之間的相似度，確定第一對(duì)比損失函數(shù)包括：

針對(duì)每個(gè)樣本視頻，根據(jù)所述查詢編碼分別與第一鍵值圖像塊對(duì)應(yīng)第一鍵值編碼、第二鍵值圖像塊對(duì)應(yīng)的第二鍵值編碼和第三鍵值圖像塊對(duì)應(yīng)的第三鍵值編碼的相似度，以及所述查詢編碼分別與各個(gè)負(fù)鍵值編碼的相似度，確定該樣本視頻對(duì)應(yīng)的幀間損失函數(shù)，其中，所述各個(gè)負(fù)鍵值編碼包括其他樣本視頻對(duì)應(yīng)的第一鍵值編碼、第二鍵值編碼和第三鍵值編碼；

根據(jù)各個(gè)樣本視頻對(duì)應(yīng)的幀間損失函數(shù)，確定第一對(duì)比損失函數(shù)。