[發明專利]圖像識別方法、裝置、電子設備及可讀存儲介質

在審

• 申請號: 201910168505.1
• 申請日: 2019-03-06
• 公開（公告）號: CN111666960A
• 公開（公告）日: 2020-09-15
• 發明（設計）人: 郭超旭;張騫;王國利;黃暢
• 申請（專利權）人: 南京地平線機器人技術有限公司
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06K9/00
• 代理公司: 北京眾達德權知識產權代理有限公司 11570
• 代理人: 劉杰

本發明公開了一種圖像識別方法、裝置、電子設備及可讀存儲介質。該圖像識別方法包括：基于當前幀圖像的類型，通過卷積神經網絡確定當前幀圖像的第一特征圖；確定當前幀圖像之前的關鍵幀圖像的第二特征圖；對第一特征圖和第二特征圖進行特征對齊，得到第一對齊特征圖；融合第一特征圖和第一對齊特征圖，得到第一融合特征圖；基于第一融合特征圖，識別當前幀圖像中的內容。這樣，可以在特征對齊的基礎上再融合當前幀圖像中的特征進行圖像識別，使得進行圖像識別的特征數量增加，在特征數量增加的基礎上進行圖像識別能夠提高圖像識別的準確性。

技術領域

本申請涉及圖像處理領域，具體涉及一種圖像識別方法、裝置、電子設備及可讀存儲介質。

背景技術

現有的圖像檢測與分割技術的進步都是基于圖片層面上的，如何高效地解決基于視頻的檢測與分割由于兩點原因仍然是一個富有挑戰性的問題。第一，基于圖片的檢測與分割模型一般計算量和參數量都很大，直接將這個模型逐幀地應用到視頻中會產生巨大的計算量；第二，視頻中的物體會存在一些運動模糊、失焦和罕見姿勢的問題。

為了解決上述存在的問題，現有技術通常是在視頻中選取一些稀疏的關鍵幀，剩余的其他幀當作非關鍵幀，然后只在這些關鍵幀上提取特征，其他非關鍵幀就利用光流網絡輸出的光流來將附近的關鍵幀特征給映射和對齊過來，作為非關鍵的特征，因為光流網絡的計算量是小于整個特征提取網絡的，從而能夠有效降低計算量且能夠提高圖像處理的精度。

但是，現有技術中的光流網絡是用來捕捉兩張圖片之間像素的對應點然后輸出相應的偏移量的，直接將光流網絡用在具有更抽象的語義信息的特征層面上會很難找到兩個高層次特征在空間上的對應性和偏移量，導致圖像識別的精度降低。

發明內容

為了解決上述技術問題，提出了本申請。本申請的實施例提供了一種圖像識別方法、裝置、電子設備及可讀存儲介質。

根據本申請的第一方面，提供了一種圖像識別方法，包括：

確定當前幀圖像的類型；

基于所述類型，通過卷積神經網絡確定當前幀圖像用于參與特征對齊及融合的第一特征圖；

確定所述當前幀圖像之前的關鍵幀圖像的第二特征圖；

對所述第一特征圖和所述第二特征圖進行特征對齊，得到第一對齊特征圖；

融合所述第一特征圖和所述第一對齊特征圖，得到第一融合特征圖；

基于所述第一融合特征圖，識別所述當前幀圖像中的內容。

根據本申請的第二方面，提供了一種圖像識別裝置，包括：

圖像類型確定模塊，用于確定當前幀圖像的類型；

第一特征圖確定模塊，用于基于所述類型，通過卷積神經網絡確定當前幀圖像用于參與特征對齊及融合的第一特征圖；

第二特征圖確定模塊，用于確定所述當前幀圖像之前的關鍵幀圖像的第二特征圖；

特征對齊模塊，用于對所述第一特征圖和所述第二特征圖進行特征對齊，得到第一對齊特征圖；

特征融合模塊，用于融合所述第一特征圖和所述第一對齊特征圖，得到第一融合特征圖；

圖像識別模塊，用于基于所述第一融合特征圖，識別所述當前幀圖像中的內容。

根據本申請的第三方面，提供了一種計算機可讀存儲介質，其上存儲有計算機程序，該程序被處理器執行時上述圖像識別方法。

本說明書實施例第四方面還提供了一種電子設備，包括存儲器、處理器及存儲在存儲器上并可在處理器上運行的計算機程序，所述處理器執行所述程序時實現上述圖像識別方法。