[發明專利]一種用于生成圖像對應文字說明的網絡模型訓練方法與設備

在審

• 申請號: 202011033394.2
• 申請日: 2020-09-27
• 公開（公告）號: CN112200031A
• 公開（公告）日: 2021-01-08
• 發明（設計）人: 趙佳男
• 申請（專利權）人: 上海眼控科技股份有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06N3/04;G06N3/08
• 代理公司: 上海百一領御專利代理事務所(普通合伙) 31243
• 代理人: 王奎宇;朱永海

與現有技術相比，本申請通過一種用于生成圖像對應文字說明的網絡模型訓練方法與設備，首先獲取圖像訓練集，接著基于所述圖像訓練集中的樣本，確定所述樣本中圖像的圖像編碼向量及與該圖像對應的文字說明的文字編碼向量，然后將所述圖像編碼向量及所述文字編碼向量進行關聯，獲得所述樣本的關聯特征向量，最后將所述關聯特征向量輸入網絡模型進行訓練，當所述網絡模型的損失函數滿足預設條件，完成所述網絡模型的訓練，以獲得訓練好的網絡模型。通過該方法，獲得一個可用于對圖像自動標注文字說明的網絡模型，大大降低人工標注文字說明的人力成本。將該網絡模型應用于行人重識別任務，可提升行人重識別的識別性能，具有實際應用價值。

技術領域

本申請涉及計算機視覺處理技術領域，尤其涉及一種用于生成圖像對應文字說明的技術。

背景技術

計算機視覺領域中的行人重識別技術是對不同的監控設備獲取的圖像中的同一目標行人進行識別、匹配，在智能安防等領域的研究和應用具有重要的意義。在現實場景中，由于受到人體姿態、拍攝角度變化以及照明條件等因素的影響，如何準確地識別并匹配目標行人成為行人重識別技術中十分具有挑戰性的問題。

近年來，隨著深度學習相關算法在計算機視覺領域的成功應用，以及大規模數據庫的不斷出現，很多行人重識別方法都在提取圖像本身提供的特征之外，利用一些例如人體姿態、人體各部位屬性、對圖像的文字說明等輔助性信息，來提升行人重識別的效果。

其中，由于對圖像的文字說明可以提供具體而全面的信息，在語義上比可視屬性更豐富，而且不同圖像對同一目標行人的位置說明通常更一致。因此，在行人重識別方法中利用對圖像的文字說明，可以減少行人重識別方法中行人外觀差異的問題，提升識別、匹配準確度。

但是，對行人重識別方法的眾多圖像，特別是采用深度學習對行人重識別方法的圖像數據集進行文字標注需要投入很高的人力成本、效率低，這就使得在行人重識別方法中應用對圖像的文字說明受到了限制。

發明內容

本申請的目的是提供一種用于生成圖像對應文字說明的網絡模型訓練的方法與設備，用以解決現有技術中基于深度學習的行人重識別的圖像數據集的人工文字標注投入人力成本高企、效率低的技術問題。

根據本申請的一個方面，提供了一種用于生成圖像對應文字說明的網絡模型訓練方法，其中，所述方法包括：

獲取圖像訓練集，其中，所述圖像訓練集中的每個樣本包含圖像和與該圖像對應的文字說明；

基于所述圖像訓練集中的樣本，確定所述樣本中圖像的圖像編碼向量及與該圖像對應的文字說明的文字編碼向量；

將所述圖像編碼向量及所述文字編碼向量進行關聯，獲得所述樣本的關聯特征向量；

將所述關聯特征向量輸入神經網絡進行訓練，當所述神經網絡的損失函數滿足預設條件，完成所述神經網絡的訓練，以獲得訓練好的網絡模型。

可選地，其中，所述方法還包括：

獲取待生成文字說明的目標圖像；

基于所述目標圖像，確定所述目標圖像的圖像編碼向量；

將所述圖像編碼向量輸入所述訓練好的網絡模型，以獲得所述目標圖像對應的文字說明。

可選地，其中，在所述基于所述目標圖像，確定所述目標圖像的圖像編碼向量之前，所述方法還包括：

將所述目標圖像的圖片風格與所述圖像訓練集中的圖片風格進行統一。

可選地，其中，所述將所述圖像編碼向量輸入所述訓練好的網絡模型，以獲得所述目標圖像對應的文字說明包括：

將所述圖像編碼向量輸入所述訓練好的網絡模型，提取所述目標圖像的屬性特征信息；