[發明專利]數據特征的獲取方法、裝置、電子設備及存儲介質

有效

• 申請號: 201811204515.8
• 申請日: 2018-10-16
• 公開（公告）號: CN109543714B
• 公開（公告）日: 2020-03-27
• 發明（設計）人: 張志偉;王希愛;王樹強
• 申請（專利權）人: 北京達佳互聯信息技術有限公司
• 主分類號: G06K9/62
• 分類號: G06K9/62
• 代理公司: 北京潤澤恒知識產權代理有限公司 11319
• 代理人: 莎日娜

1.一種數據特征的獲取方法，其特征在于，所述方法包括：

獲取多媒體樣本，所述多媒體樣本包括圖像信息和文本信息；

分別提取所述圖像信息的第一圖像特征以及所述文本信息的第一文本特征；

將所述第一圖像特征和所述第一文本特征導入注意力機制模型，輸出基于所述第一圖像特征的注意力的第二文本特征，和/或基于所述第一文本特征的注意力的第二圖像特征。

2.根據權利要求1所述的方法，其特征在于，在所述將所述第一圖像特征和所述第一文本特征導入注意力機制模型，輸出基于所述第一圖像特征的注意力的第二文本特征，和基于所述第一文本特征的注意力的第二圖像特征之后，還包括：

將所述第二文本特征和所述第二圖像特征進行特征合并，得到所述多媒體樣本的第一合并特征。

3.根據權利要求2所述的方法，其特征在于，在所述分別提取所述圖像信息的第一圖像特征以及所述文本信息的第一文本特征之后，所述方法還包括：

將所述第一圖像特征導入注意力機制模型，輸出基于所述第一圖像特征的注意力的第三圖像特征；

將所述第一文本特征導入注意力機制模型，輸出基于所述第一文本特征的注意力的第三文本特征。

4.根據權利要求3所述的方法，其特征在于，所述將所述第二文本特征和所述第二圖像特征進行特征合并，得到所述合并特征，包括：

將所述第二文本特征、所述第二圖像特征、所述第三圖像特征和所述第三文本特征進行特征合并，得到所述多媒體樣本的第二合并特征。

5.根據權利要求4所述的方法，其特征在于，所述方法還包括：

將所述第二合并特征導入標簽分類模型，輸出所述第二合并特征對應的分類標簽。

6.根據權利要求3所述的方法，其特征在于，所述將所述第一圖像特征導入注意力機制模型，輸出基于所述第一圖像特征的注意力的第三圖像特征，包括：

將所述第一圖像特征平均池化，得到對應的第一圖像特征向量；

將所述第一圖像特征與所述第一圖像特征向量進行相似度計算，得到所述第一圖像特征對應所述第一圖像特征的第一注意力權重因子；

將所述第一注意力權重因子歸一化處理，得到對應的第一注意力權重；

將所述第一注意力權重與所述第一圖像特征進行加權求和計算，得到基于所述第一圖像特征的注意力的第三圖像特征。

7.根據權利要求3所述的方法，其特征在于，所述將所述第一文本特征導入注意力機制模型，輸出基于所述第一文本特征的注意力的第三文本特征，包括：

將所述第一文本特征平均池化，得到對應的第一文本特征向量；

將所述第一文本特征與所述第一文本特征向量進行相似度計算，得到所述第一文本特征對應所述第一文本特征的第二注意力權重因子；

將所述第二注意力權重因子歸一化處理，得到對應的第二注意力權重；

將所述第二注意力權重與所述第一文本特征進行加權求和計算，得到基于所述第一文本特征的注意力的第三文本特征。

8.根據權利要求1所述的方法，其特征在于，所述分別提取所述圖像信息的第一圖像特征以及所述文本信息的第一文本特征，包括：

將所述圖像信息導入卷積神經網絡模型，輸出所述圖像信息對應的第一圖像特征；

將所述文本信息導入嵌入式神經網絡模型，輸出所述文本信息對應的第一文本特征。

9.根據權利要求1所述的方法，其特征在于，所述將所述第一圖像特征和所述第一文本特征導入注意力機制模型，輸出基于所述第一圖像特征的注意力的第二文本特征，包括：

將所述第一圖像特征平均池化，得到對應的第一圖像特征向量；

將所述第一文本特征與所述第一圖像特征向量進行相似度計算，得到所述第一文本特征對應所述第一圖像特征的第三注意力權重因子；

將所述第三注意力權重因子歸一化處理，得到對應的第三注意力權重；

將所述第三注意力權重與所述第一文本特征進行加權求和計算，得到基于所述第一圖像特征的注意力的第二文本特征。