[發明專利]圖像數據的視覺識別方法、裝置、存儲介質及處理器

在審

• 申請號: 202010116678.1
• 申請日: 2020-02-25
• 公開（公告）號: CN113378851A
• 公開（公告）日: 2021-09-10
• 發明（設計）人: 周祥增;潘攀;鄭赟;徐盈輝;金榕
• 申請（專利權）人: 阿里巴巴集團控股有限公司
• 主分類號: G06K9/46
• 分類號: G06K9/46;G06K9/62
• 代理公司: 北京博浩百睿知識產權代理有限責任公司 11134
• 代理人: 謝湘寧;張文華

1.一種圖像數據的視覺識別方法，其特征在于，包括：

從圖像數據中提取視覺特征；

利用與所述圖像數據關聯的待使用輔助數據，構建語義特征；

基于所述視覺特征和所述語義特征對所述圖像數據進行視覺識別。

2.根據權利要求1所述的方法，其特征在于，從所述圖像數據中提取所述視覺特征包括：

將所述圖像數據設置為卷積神經網絡的輸入參數，提取所述視覺特征。

3.根據權利要求1所述的方法，其特征在于，利用所述待使用輔助數據構建所述語義特征包括：

將與所述圖像數據關聯的原始輔助數據中包含的詞匯轉化為詞向量；

基于所述詞向量構建無序上下文，并利用所述無序上下文從所述原始輔助數據中提取出所述待使用輔助數據；

利用所述待使用輔助數據構建語義向量，得到所述語義特征。

4.根據權利要求3所述的方法，其特征在于，基于所述詞向量構建所述無序上下文，并利用所述無序上下文從所述原始輔助數據中提取出所述待使用輔助數據包括：

對所述詞向量進行平均池化處理和外積處理，構建所述無序上下文；

利用所述無序上下文對所述原始輔助數據進行加權處理，抑制所述原始輔助數據中的噪聲輔助數據并提取出所述待使用輔助數據。

5.根據權利要求1所述的方法，其特征在于，基于所述視覺特征和所述語義特征對所述圖像數據進行視覺識別包括：

對所述視覺特征和所述語義特征進行最大池化處理，得到多模態特征；

將所述視覺特征和所述多模態特征輸入至共享分類器進行協同學習，得到視覺識別結果。

6.根據權利要求1所述的方法，其特征在于，所述視覺特征用于描述所述圖像數據中待識別對象的外在視覺表象的屬性信息，或者，所述視覺特征用于描述所述圖像數據中待識別對象的外在視覺表象的屬性信息和所述待識別對象當前所處的環境信息，其中，所述屬性信息包括以下至少之一：幾何屬性、色彩屬性、材質屬性、結構屬性，所述環境信息包括：應用場景信息。

7.根據權利要求1所述的方法，其特征在于，所述待使用輔助數據包括以下之一：

與所述圖像數據關聯的文字描述信息；

由所述圖像數據關聯的分享內容鏈接信息轉化得到的文字描述信息；

由所述圖像數據關聯的音頻數據轉化得到的文字描述信息。

8.根據權利要求1所述的方法，其特征在于，所述圖像數據包括以下之一：

靜態圖像數據、動態圖像數據、由視頻數據轉化得到的圖像數據。

9.一種圖像數據的視覺識別方法，其特征在于，包括：

從測試圖像數據中提取第一視覺特征；

獲取預先訓練得到的多模態特征，其中，所述多模態特征由第二視覺特征和語義特征確定，所述第二視覺特征從樣本圖像數據中提取，所述語義特征從所述樣本圖像數據關聯的待使用輔助數據中提取；

基于所述第一視覺特征和所述多模態特征對所述測試圖像數據進行視覺識別。

10.根據權利要求9所述的方法，其特征在于，從所述測試圖像數據中提取所述第一視覺特征包括：

將所述測試圖像數據設置為卷積神經網絡的輸入參數，提取所述第一視覺特征。

11.根據權利要求9所述的方法，其特征在于，在獲取所述多模態特征之前，還包括：

將與所述樣本圖像數據關聯的原始輔助數據中包含的詞匯轉化為詞向量；

基于所述詞向量構建無序上下文，并利用所述無序上下文從所述原始輔助數據中提取出所述待使用輔助數據；

利用所述待使用輔助數據構建語義向量，得到所述語義特征。