[發(fā)明專利]一種模型訓(xùn)練方法、裝置、設(shè)備以及存儲介質(zhì)

在審

• 申請?zhí)枺?/td>: 202111289695.6
• 申請日: 2021-11-02
• 公開（公告）號: CN114120031A
• 公開（公告）日: 2022-03-01
• 發(fā)明（設(shè)計）人: 王英明
• 申請（專利權(quán)）人: 北京曠視科技有限公司;北京邁格威科技有限公司
• 主分類號: G06V10/764
• 分類號: G06V10/764;G06V10/774;G06K9/62
• 代理公司: 北京超凡宏宇專利代理事務(wù)所(特殊普通合伙) 11463
• 代理人: 唐正瑜

本申請?zhí)峁┮环N模型訓(xùn)練方法、裝置、設(shè)備以及存儲介質(zhì)，所述模型訓(xùn)練方法，包括：獲取訓(xùn)練圖像和多個錨點，所述訓(xùn)練圖像中包括多個目標，所述多個目標中包括點框標注目標和點標注目標，所述點標注目標包括標注點，所述點框標注目標包括標注點和標注框；根據(jù)所述訓(xùn)練圖像、所述多個錨點、所述點標注目標的標注點，以及，所述點框標注目標的標注點和標注框，對待訓(xùn)練模型進行訓(xùn)練；其中，所述多個錨點用于生成目標的預(yù)測框和類別得分。節(jié)省了模型訓(xùn)練過程中的標注時間。

技術(shù)領(lǐng)域

本申請涉及目標檢測技術(shù)領(lǐng)域，具體而言，涉及一種模型訓(xùn)練方法、裝置、設(shè)備以及存儲介質(zhì)。

背景技術(shù)

目標檢測的流程通常是：將待檢測圖像輸入到目標檢測模型；目標檢測模型對輸入的待檢測圖像進行處理，得到包含檢測框和目標類別的目標檢測結(jié)果。

在應(yīng)用目標檢測模型之前，需要對目標檢測模型進行訓(xùn)練。訓(xùn)練過程為：獲取訓(xùn)練圖像；對訓(xùn)練圖像中的各個目標進行檢測框標注和類別標注；將訓(xùn)練圖像輸入目標檢測模型得到訓(xùn)練圖像中各個目標的預(yù)測框和預(yù)測分類；根據(jù)訓(xùn)練圖像中各個目標的預(yù)測框、預(yù)測分類，以及，訓(xùn)練圖像中的各個目標的檢測框標注和類別標注，對目標檢測模型進行訓(xùn)練。

由于在訓(xùn)練目標檢測模型時需要對訓(xùn)練圖像中的各個目標進行檢測框標注和類別標注，導(dǎo)致整個標注過程十分耗時。

發(fā)明內(nèi)容

基于此，提出一種模型訓(xùn)練方法、裝置、設(shè)備以及存儲介質(zhì)，以解決現(xiàn)有技術(shù)中存在的訓(xùn)練過程耗時的技術(shù)問題。

第一方面，提供了一種模型訓(xùn)練方法，包括：

獲取訓(xùn)練圖像和多個錨點，所述訓(xùn)練圖像中包括多個目標，所述多個目標中包括點框標注目標和點標注目標，所述點標注目標包括標注點，所述點框標注目標包括標注點和標注框；

根據(jù)所述訓(xùn)練圖像、所述多個錨點、所述點標注目標的標注點，以及，所述點框標注目標的標注點和標注框，對待訓(xùn)練模型進行訓(xùn)練；其中，所述多個錨點用于生成目標的預(yù)測框和類別得分。

上述模型訓(xùn)練方法，獲取了多個目標的訓(xùn)練圖像，多個目標中包括點框標注目標和點標注目標，點標注目標包括標注點，點框標注目標包括標注點和標注框，可見，在訓(xùn)練圖像中，只對部分目標進行了框標注，而點標注相較于框標注更加的容易，因為框標注需要對目標進行精準標注，框的大小、形狀需要跟隨目標的大小、形狀改變，而點標注則只需要將標注點標注在目標所在的圖像區(qū)域即可，顯然這是一種更為粗略的標注方式，故而，由于沒有對訓(xùn)練圖像中的全部目標進行框標注，所以大大的節(jié)省了標注時間，從而在一定程度上提高了模型訓(xùn)練效率。

在一個實施例中，所述根據(jù)所述訓(xùn)練圖像、所述多個錨點、所述點標注目標的標注點，以及，所述點框標注目標的標注點和標注框，對待訓(xùn)練模型進行訓(xùn)練，包括：

將所述訓(xùn)練圖像和所述多個錨點，輸入所述待訓(xùn)練模型，得到錨點預(yù)測結(jié)果以及中間特征，所述錨點預(yù)測結(jié)果包括每個所述錨點對應(yīng)的預(yù)測框和類別得分，所述中間特征包括錨點查詢特征和標注點查詢特征；

根據(jù)所述錨點預(yù)測結(jié)果、所述點框標注目標的標注框和所述點框標注目標的標注類別，得到所述點框標注目標對應(yīng)的匹配錨點矩陣，所述匹配錨點矩陣記錄了點框標注目標和錨點之間的匹配關(guān)系；

根據(jù)所述錨點查詢特征和所述標注點查詢特征，得到相似度矩陣，所述相似度矩陣中記錄了所述訓(xùn)練圖像中的目標與錨點之間的相似度；

根據(jù)所述點框標注目標對應(yīng)的匹配錨點矩陣確定點框標注目標的匹配錨點；

根據(jù)所述相似度矩陣得到點標注目標的匹配錨點；

根據(jù)所述點框標注目標的匹配錨點的預(yù)測框和所述點框標注目標的標注框，計算框回歸損失；

根據(jù)所述點框標注目標的匹配錨點的類別得分和所述點框標注目標的標注類別，計算點框目標分類損失；