[發明專利]數據特征的獲取方法、裝置、電子設備及存儲介質

有效

• 申請號: 201811204515.8
• 申請日: 2018-10-16
• 公開（公告）號: CN109543714B
• 公開（公告）日: 2020-03-27
• 發明（設計）人: 張志偉;王希愛;王樹強
• 申請（專利權）人: 北京達佳互聯信息技術有限公司
• 主分類號: G06K9/62
• 分類號: G06K9/62
• 代理公司: 北京潤澤恒知識產權代理有限公司 11319
• 代理人: 莎日娜

本申請提供了一種數據特征的獲取方法、裝置、電子設備及存儲介質，包括：獲取包括圖像信息和文本信息的多媒體樣本；分別提取圖像信息的第一圖像特征以及文本信息的第一文本特征；將第一圖像特征和第一文本特征導入注意力機制模型，輸出基于第一圖像特征的注意力的第二文本特征，和/或基于第一文本特征的注意力的第二圖像特征。本申請基于注意力機制，捕捉第一圖像特征和第一文本特征之間的關聯性，并得到應用了注意力機制的第二文本特征和/或第二圖像特征，使得第二文本特征和第二圖像特征包括了圖像信息和文本信息之間的關聯性，本申請獲取的應用了注意力機制的特征是基于一個端到端的注意力機制模型實現的，減少了應用場景對多模型的依賴。

技術領域

本申請實施例涉及圖像分類技術領域，尤其涉及一種數據特征的獲取方法、裝置、電子設備及存儲介質。

背景技術

近來，隨著深度學習技術在多媒體樣本分類處理等相關領域的廣泛應用，使得移動終端的應用開發出來很多的多媒體樣本分類功能，優化了應用的信息展示、推薦等功能，提高了用戶體驗度。

相關技術中，在現實的場景中，一般用戶在上傳一張圖像之后，還會對這張圖像增加一段簡單的文字描述，目前的圖像分類功能是基于圖像和對應的文字描述，采用后融合技術進行處理，得到對應的特征，該特征可用于進行關聯有文字描述的圖像進行標簽分類的操作，獲取特征的操作具體為，根據圖像、文字描述的特征點分布，計算出一個預測結果，然后再對預測結果通過不同的模型進行后處理，分別得到對應的特征。

但是，目前方案中，采用后融合技術提取圖像以及文本的特征，是基于不同且相互獨立的模型所分別做的單獨處理，并不能有效利用多媒體樣本中圖像以及文本之間的相關性，并且，由于每個模型單獨優化，不同的模型處理速度可能不一樣，導致最終的效率依賴于處理效率最慢的模型，降低了處理的效率。

發明內容

本申請實施例提供一種數據特征的獲取方法、裝置、電子設備及存儲介質，以解決相關技術中提取圖像和文本的特征不能有效利用圖像以及文本之間的相關性，且導致處理的效率低下的問題。

第一方面，本申請實施例提供了一種數據特征的獲取方法，該方法包括：

獲取多媒體樣本，所述多媒體樣本包括圖像信息和文本信息；

分別提取所述圖像信息的第一圖像特征以及所述文本信息的第一文本特征；

將所述第一圖像特征和所述第一文本特征導入注意力機制模型，輸出基于所述第一圖像特征的注意力的第二文本特征，和/或基于所述第一文本特征的注意力的第二圖像特征。

第二方面，本申請實施例提供了一種數據特征的獲取裝置，該裝置包括：

獲取模塊，用于獲取多媒體樣本，所述多媒體樣本包括圖像信息和文本信息；

第一特征提取模塊，用于分別提取所述圖像信息的第一圖像特征以及所述文本信息的第一文本特征；

第二特征提取模塊，用于將所述第一圖像特征和所述第一文本特征導入注意力機制模型，輸出基于所述第一圖像特征的注意力的第二文本特征，和/或基于所述第一文本特征的注意力的第二圖像特征。

第三方面，本申請實施例還提供了一種電子設備，包括處理器、存儲器及存儲在所述存儲器上并可在所述處理器上運行的計算機程序，所述計算機程序被所述處理器執行時實現如本申請提供的數據特征的獲取方法的步驟。

第四方面，本申請實施例還提供了一種存儲介質，當所述存儲介質中的指令由電子設備的處理器執行時，使得電子設備能夠執行如本申請提供的數據特征的獲取方法的步驟。

第五方面，本申請實施例還提供了一種應用程序，所述應用程序由電子設備的處理器執行時，實現如本申請提供的數據特征的獲取方法的步驟。