[發明專利]圖像數據的視覺識別方法、裝置、存儲介質及處理器

在審

• 申請號: 202010116678.1
• 申請日: 2020-02-25
• 公開（公告）號: CN113378851A
• 公開（公告）日: 2021-09-10
• 發明（設計）人: 周祥增;潘攀;鄭赟;徐盈輝;金榕
• 申請（專利權）人: 阿里巴巴集團控股有限公司
• 主分類號: G06K9/46
• 分類號: G06K9/46;G06K9/62
• 代理公司: 北京博浩百睿知識產權代理有限責任公司 11134
• 代理人: 謝湘寧;張文華

本發明公開了一種圖像數據的視覺識別方法、裝置、存儲介質及處理器。其中，該方法包括：從圖像數據中提取視覺特征；利用與圖像數據關聯的待使用輔助數據構建語義特征；基于視覺特征和語義特征對圖像數據進行視覺識別。本發明解決了基于輔助信息對圖像數據進行視覺識別的效率低的技術問題。

技術領域

本發明涉及圖像識別領域，具體而言，涉及一種圖像數據的視覺識別方法、裝置、存儲介質及處理器。

背景技術

大規模視覺識別系統的性能極大地受限于圖像數據的長尾分布問題，而在電商平臺中，除了圖片數據以外，還有大量的輔助信息可以用。例如，商品的標題、屬性、描述、點擊關系等，這些輔助信息揭示了各種商品之間潛在的關聯關系，在大量長尾商品的圖片數據不足的情況下，可以借助這些輔助信息提升對這些長尾類的識別性能。

Learning using Privilege Information(LUPI)，是目前使用的一種使用副信息提升視覺識別任務的方案，主要在學術界被研究，還有沒有實際的業界應用。LUPI方案的主要思想是“老師教學生”的學習范式，一般老師模型使用副信息構建，然后通過知識傳輸(knowledge transfer)技術幫助學生模型(一般就是視覺分類模型)學習。

但是，LUPI的方案主要存在的缺點有：

1.需要老師模型強于學生模型，這個限制在實際應用中一般難以成立。

2.老師模型和學生模型是分開學習，不利于全局的最優化。

3.方法的推廣性不夠好，尤其面對超大規模識別任務(例如百萬、千萬ID)時訓練開銷太大。

針對上述基于輔助信息對圖像數據進行視覺識別的效率低的問題，目前尚未提出有效的解決方案。

發明內容

本發明實施例提供了一種圖像數據的視覺識別方法、裝置、存儲介質及處理器，以至少解決基于輔助信息對圖像數據進行視覺識別的效率低的技術問題。

根據本發明實施例的一個方面，提供了一種圖像數據的視覺識別方法，包括：從圖像數據中提取視覺特征；利用與所述圖像數據關聯的待使用輔助數據構建語義特征；基于所述視覺特征和所述語義特征對所述圖像數據進行視覺識別。

根據本發明實施例的另一方面，還提供了一種圖像數據的視覺識別方法，包括：從測試圖像數據中提取第一視覺特征；獲取預先訓練得到的多模態特征，其中，所述多模態特征由第二視覺特征和語義特征確定，所述第二視覺特征從樣本圖像數據中提取，所述語義特征從所述樣本圖像數據關聯的待使用輔助數據中提取；基于所述第一視覺特征和所述多模態特征對所述測試圖像數據進行視覺識別。

根據本發明實施例的另一方面，還提供了一種圖像數據的視覺識別裝置，包括：第一提取單元，用于從圖像數據中提取視覺特征；構建單元，用于利用與所述圖像數據關聯的待使用輔助數據構建語義特征；第一識別單元，用于基于所述視覺特征和所述語義特征對所述圖像數據進行視覺識別。

根據本發明實施例的另一方面，還提供了一種圖像數據的視覺識別裝置，包括：第二提取單元，用于從測試圖像數據中提取第一視覺特征；獲取單元，用于獲取預先訓練得到的多模態特征，其中，所述多模態特征由第二視覺特征和語義特征確定，所述第二視覺特征從樣本圖像數據中提取，所述語義特征從所述樣本圖像數據關聯的待使用輔助數據中提取；第二識別單元，用于基于所述第一視覺特征和所述多模態特征對所述測試圖像數據進行視覺識別。

根據本發明實施例的另一方面，還提供了一種存儲介質，所述存儲介質包括存儲的程序，其中，在所述程序運行時控制所述存儲介質所在設備執行上述所述的圖像數據的視覺識別方法。

根據本發明實施例的另一方面，還提供了一種處理器，所述處理器用于運行程序，其中，所述程序運行時執行上述所述的圖像數據的視覺識別方法。