[發明專利]圖像標注模型訓練和圖像標注方法、系統、設備及介質

在審

• 申請號: 202110321391.7
• 申請日: 2021-03-25
• 公開（公告）號: CN113065013A
• 公開（公告）日: 2021-07-02
• 發明（設計）人: 楊凱;羅超;胡泓;李巍
• 申請（專利權）人: 攜程計算機技術（上海）有限公司
• 主分類號: G06F16/55
• 分類號: G06F16/55;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 上海弼興律師事務所 31283
• 代理人: 楊東明;張冉

本發明公開了一種圖像標注模型訓練和圖像標注方法、系統、設備及介質。圖像標注模型訓練方法包括：獲取圖像數據并構造訓練數據集，訓練數據集包括被預設的分類標簽標注的圖像數據；分類標簽包括若干不同的目標標簽和一個非目標標簽；在殘差網絡結構包括的卷積層后增加注意力機制模塊，以構建圖像標注模型，注意力機制模塊用于對卷積層輸出的特征圖的不同通道和區域進行調整，殘差網絡結構包括依次連接的至少一個卷積層和一個全連接層；將訓練數據集輸入到圖像標注模型進行訓練，得到目標圖像標注模型。本發明通過在圖像分類標簽體系中增加非目標標簽構造訓練數據集，利用殘差網絡和注意力機制構建圖像標注模型，提高了圖片標注的準確率。

技術領域

本發明涉及深度學習技術領域，特別涉及一種圖像標注模型訓練和圖像標注方法、系統、設備及介質。

背景技術

隨著信息技術的發展，圖像信息迎來爆炸式增長。例如以景點分享、推薦為目的的攻略圖庫，每天都會新增大量由用戶或者景點官方上傳的圖片，圖庫中積壓了海量的雜亂無章的圖片，難以進一步利用。僅憑人工處理無法對如此大量的圖像數據進行標注，基于深度學習模型的圖像分類算法是目前進行海量圖片標注的主要方法。但現有的開源圖像分類模型針對的是特定窄鄰域的圖像，在攻略圖庫等開放場景下，無法對包括海量的無關圖片的圖像數據進行準確地識別和標注。

發明內容

本發明要解決的技術問題是為了克服現有技術中針對特定窄鄰域的圖像分類模型無法準確地識別和標注海量包括海量的無關圖片的圖像數據的缺陷，提供一種圖像標注模型訓練和圖像標注方法、系統、設備及介質。

本發明是通過下述技術方案來解決上述技術問題：

本發明提供一種圖像標注模型訓練方法，所述圖像標注模型訓練方法包括：

獲取圖像數據并構造訓練數據集，所述訓練數據集包括被預設的分類標簽標注的所述圖像數據；所述分類標簽包括若干不同的目標標簽和一個非目標標簽；所述非目標標簽與所述目標標簽的類別不同；

在殘差網絡結構包括的卷積層后增加注意力機制模塊，以構建圖像標注模型，其中，所述注意力機制模塊用于對所述卷積層輸出的特征圖的不同通道和區域進行調整，所述殘差網絡結構包括依次連接的至少一個卷積層和一個全連接層；

將所述訓練數據集輸入到所述圖像標注模型進行訓練，得到目標圖像標注模型。

較佳地，所述在殘差網絡結構包括的卷積層后增加注意力機制模塊的步驟包括：

將所述卷積層輸出的第一特征圖輸入到所述注意力機制模塊得到注意力權重特征圖；

根據所述第一特征圖和所述注意力權重特征圖確定所述注意力機制模塊輸出的第二特征圖。

較佳地，所述殘差網絡結構包括第一卷積層、第二卷積層、第三卷積層、第四卷積層、第五卷積層；

所述在殘差網絡結構包括的卷積層后增加注意力機制模塊的步驟包括：

在所述第二卷積層、所述第三卷積層、所述第四卷積層、所述第五卷積層后分別增加一個注意力機制模塊。

較佳地，所述將所述訓練數據集輸入到所述圖像標注模型進行訓練，得到目標圖像標注模型的步驟包括：

將所述訓練數據集輸入到所述圖像標注模型，得到模型輸出結果；

根據所述模型輸出結果和平衡因子，利用第一損失函數計算所述圖像標注模型的錯誤損失；

所述平衡因子為所述訓練數據集中各所述分類標簽標注的樣本數與所述訓練數據集的樣本總數的比例。

較佳地，所述將所述訓練數據集輸入到所述圖像標注模型進行訓練，得到目標圖像標注模型的步驟包括：

根據所述模型輸出結果，利用第二損失函數計算所述圖像標注模型的約束損失；