[發明專利]開放場景中多場景識別方法、系統、設備及存儲介質

在審

• 申請號: 202011644695.9
• 申請日: 2020-12-30
• 公開（公告）號: CN112633246A
• 公開（公告）日: 2021-04-09
• 發明（設計）人: 楊凱;羅超;胡泓;李巍
• 申請（專利權）人: 攜程計算機技術（上海）有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 上海弼興律師事務所 31283
• 代理人: 楊東明;張冉

本發明公開了開放場景中多場景識別方法、系統、設備及存儲介質，其中開放場景中多場景識別模型生成方法包括：在殘差網絡中的conv3_x層、conv4_x層和conv5_x層中的至少一層后插入一ECA層后得到一初始模型；對開放場景中的若干樣本圖片進行標注，以得到對應的多場景類別標簽；以所述若干樣本圖片作為輸入，以對應的所述場景類別標簽作為輸出，訓練所述初始模型得到開放場景中多場景識別模型。該模型屬于分類模型，利用深度學習框架和通道注意機制，以實現開放場景中多場景識別的目的。

技術領域

本發明涉及圖像識別領域，尤其涉及一種開放場景中多場景識別方法、系統、設備及存儲介質。

背景技術

隨著信息時代的到來，人們在出行旅游過程中，都會隨手拍攝許多照片并上傳至網絡平臺進行分享。以一些OTA(在線旅游)平臺的圖庫為例，每天都會新增大量由用戶或者商家上傳的圖片，圖庫中累計了海量的圖片。由于無法通過人工進行審核和標注，這些圖片雜亂無章，難以利用，通常依賴自動識別及分類機制來對圖片內容進行識別并打上相應標簽，如場景類別的識別等。

在現有技術中，對特定某一類場景中圖片進行分類和識別的方法有很多，但在包括很多種場景的開放場景中識別出包含特定場景的內容圖片的方法識別的準確率不高。

發明內容

本發明要解決的技術問題是為了克服現有技術中在開放場景中識別出包含特定場景的內容圖片的方法識別的準確率不高的缺陷，提供一種開放場景中多場景識別方法、系統、設備及存儲介質。

本發明是通過下述技術方案來解決上述技術問題：

本發明提供一種開放場景中多場景識別模型生成方法，所述開放場景中多場景識別模型生成方法包括：

在殘差網絡中的conv3_x(一種卷積層)層、conv4_x(一種卷積層)層和conv5_x(一種卷積層)層中的至少一層后插入一ECA(通道注意機制)層后得到一初始模型；

對開放場景中的若干樣本圖片進行標注，以得到對應的多場景類別標簽；

以所述若干樣本圖片作為輸入，以對應的所述場景類別標簽作為輸出，訓練所述初始模型得到開放場景中多場景識別模型。

優選地，所述在殘差網絡中的conv3_x層、conv4_x層和conv5_x層中的至少一層后插入一ECA層后得到一初始模型包括：

分別在所述殘差網絡中的所述conv3_x層、conv4_x層和conv5_x層后均插入一ECA層后得到所述初始模型；

和/或，

多場景類別標簽包括建筑類標簽和其他類標簽，所述建筑類標簽包括中式建筑標簽、東西式建筑標簽、現代建筑標簽、公園樂園標簽、遺跡古址標簽中的至少一種。

優選地，所述訓練所述初始模型得到開放場景中多場景識別模型，包括：

設置加權交叉熵函數作為主損失函數；

設置Ring loss作為輔助損失函數；

利用所述主損失函數和所述輔助損失函數訓練所述初始模型得到所述開放場景中多場景識別模型。

優選地，所述利用所述主損失函數和所述主損失函數訓練所述初始模型得到開放場景中多場景識別模型，包括：

設置所述主損失函數和所述輔助損失函數的加權和為最終的損失函數；

利用所述最終的損失函數訓練所述初始模型得到開放場景中多場景識別模型。

優選地，所述利用所述主損失函數和所述輔助損失函數訓練所述初始模型得到開放場景中多場景識別模型之前還包括：

采用動量的隨機梯度下降法和反向傳播算法優化所述初始模型。