[發明專利]圖像識別方法、裝置及存儲介質

有效

• 申請號: 201710814187.2
• 申請日: 2017-09-11
• 公開（公告）號: CN108304846B
• 公開（公告）日: 2021-10-22
• 發明（設計）人: 姜文浩;馬林;劉威
• 申請（專利權）人: 騰訊科技（深圳）有限公司
• 主分類號: G06K9/46
• 分類號: G06K9/46;G06K9/48;G06K9/62;G06N3/04
• 代理公司: 北京三高永信知識產權代理有限責任公司 11138
• 代理人: 劉映東

本發明公開了一種圖像識別方法、裝置及存儲介質，屬于機器學習領域。所述方法包括：通過指定編碼器對待進行識別的目標圖像進行特征提取，得到特征向量和第一標注向量集合；對該特征向量進行初始化處理，得到第一初始輸入數據；基于該第一標注向量集合，通過第一指定引導網絡模型生成第一引導信息，該第一指定引導網絡模型是通過樣本圖像訓練得到；基于該第一引導信息、該第一標注向量集合和該第一初始輸入數據，通過指定解碼器確定該目標圖像的描述語句。本發明在編碼器和解碼器之間增加了預先通過樣本圖像訓練得到的引導網絡模型，因此通過該引導網絡模型生成的引導信息較為準確，能夠對編碼過程進行準確引導，提高了生成描述語句的質量。

技術領域

本發明涉及機器學習領域，特別涉及一種圖像識別方法、裝置及存儲介質。

背景技術

隨著科技的發展，以及人們對便捷的人機交互方式的需求，機器學習在圖像識別領域得到了廣泛應用。例如，在早期的兒童教育、圖像檢索和盲人導航等場景中，人們通常希望機器能夠自動對圖像進行識別，得到能夠準確描述圖像內容的描述語句，即將圖像翻譯成自然語言，以便通過自然語言快速理解圖像或者對圖像進行分類。

目前，圖像識別的系統框架通常包括編碼器(Encoder)和解碼器(Decoder)，基于該系統框架，相關技術中提出了一種圖像識別方法，包括：先通過編碼器對圖像進行特征提取，得到特征向量和標注向量(Annotation Vectors)集合，其中，特征向量是對圖像進行全局特征提取得到，標注向量集合是對圖像進行局部特征提取得到，然后對特征向量進行初始化處理，得到初始輸入數據，該初始輸入數據可以包括初始的隱含狀態(Hidden State)信息和初始的記憶單元(Memory Cell)狀態信息，之后從圖像中提取人為設計的特定信息作為引導信息，并基于該引導信息，通過解碼器對該標注向量集合和初始輸入數據進行解碼，得到描述語句。其中，該引導信息用于對編碼器的編碼過程進行引導，以提高生成描述語句的質量，使得所生成的描述語句能夠較為準確地描述圖像且符合語義。

由于相關技術中所使用的引導信息是人為預先設計的特定信息，因此該引導信息可能不能對所有圖像的編碼過程進行準確引導，即通過該引導信息可能不能準確生成圖像的描述語句，導致生成的描述語句的質量較低。

發明內容

為了解決相關技術中存在的通過人為設計的特定引導信息不能準確生成圖像的描述語句，導致生成的描述語句的質量較低的問題，本發明實施例提供了一種圖像識別方法、裝置及存儲介質。所述技術方案如下：

第一方面，提供了一種圖像識別方法，所述方法包括：

通過指定編碼器對待進行識別的目標圖像進行特征提取，得到特征向量和第一標注向量集合；

對所述特征向量進行初始化處理，得到第一初始輸入數據；

基于所述第一標注向量集合，通過第一指定引導網絡模型生成第一引導信息，所述第一指定引導網絡模型是通過樣本圖像訓練得到；

基于所述第一引導信息、所述第一標注向量集合和所述第一初始輸入數據，通過指定解碼器確定所述目標圖像的描述語句。

第二方面，提供了一種圖像識別裝置，所述裝置包括：

提取模塊，用于通過指定編碼器對待進行識別的目標圖像進行特征提取，得到特征向量和第一標注向量集合；

處理模塊，用于對所述特征向量進行初始化處理，得到第一初始輸入數據；

生成模塊，用于基于所述第一標注向量集合，通過第一指定引導網絡模型生成第一引導信息，所述第一指定引導網絡模型是通過樣本圖像訓練得到；

確定模塊，用于基于所述第一引導信息、所述第一標注向量集合和所述第一初始輸入數據，通過指定解碼器確定所述目標圖像的描述語句。