[發明專利]數據處理方法及裝置

在審

• 申請號: 202010588596.7
• 申請日: 2020-06-24
• 公開（公告）號: CN111767461A
• 公開（公告）日: 2020-10-13
• 發明（設計）人: 張軒瑋
• 申請（專利權）人: 北京奇藝世紀科技有限公司
• 主分類號: G06F16/9535
• 分類號: G06F16/9535;G06F16/45;G06F16/435;G06F40/289;G06F40/30;G06N3/04;G06N3/08
• 代理公司: 北京華夏泰和知識產權代理有限公司 11662
• 代理人: 沈園園;劉蔓莉

本發明實施例提供了一種數據處理方法及裝置，其中方法包括：獲取多媒體數據和用于對所述多媒體數據進行描述的文本信息；確定文本信息中每個分詞的embedding詞向量；對多媒體數據進行特征提取，得到多媒體數據對應的embedding圖像向量；對embedding詞向量和embedding圖像向量進行特征融合，得到融合后embedding向量；將各個融合后embedding向量按照預設的加權策略進行整合，得到多模態embedding向量。通過本實施例中的方法，通過提取文本信息和多媒體數據對應的向量，進而得到具體內容中包括的信息，粒度很細，可以更加準確的反映出文本信息和多媒體數據的關鍵信息，以便于據此得到用戶的興趣點，能夠在后期更加準確的對用戶進行推薦。

技術領域

本發明涉及人工智能技術領域，特別是涉及一種數據處理方法及裝置。

背景技術

隨著互聯網的普及，越來越多的內容出現在各個網站中，為了對不同的視頻內容或圖文內容(例如漫畫等等)進行分類，都會給對應的內容選擇相應的標簽進行標注，并且后期給用戶進行內容推薦時，也會基于用戶曾經點擊過的內容的標簽進行推薦。但是，通過標簽對視頻等進行標注時很多情況下無法體現出其有效的關鍵信息，在基于標簽對用戶進行推薦時容易出現推薦不準確的問題。

發明內容

本發明實施例的目的在于提供一種數據處理方法及裝置，以實現抽取得到細粒度的信息的目的。具體技術方案如下：

在本發明實施的第一方面，首先提供了一種數據處理方法，包括：

獲取多媒體數據和用于對所述多媒體數據進行描述的文本信息；其中，所述多媒體數據包括：視頻或圖像；

確定所述文本信息中每個分詞的embedding詞向量；

對所述多媒體數據進行特征提取，得到所述多媒體數據對應的embedding圖像向量；

對所述embedding詞向量和所述embedding圖像向量進行特征融合，得到融合后embedding向量；

將各個所述融合后embedding向量按照預設的加權策略進行整合，得到多模態embedding向量。

可選的，如前述的方法，所述確定所述文本信息中每個分詞的embedding詞向量，包括：

對所述文本信息進行分詞處理，得到構成所述文本信息的所述分詞；

根據所述分詞以及預設的標簽詞得到對應的詞表；

根據預先訓練得到的詞向量模型以及所述詞表確定每個所述分詞的所述embedding詞向量。

可選的，如前述的方法，所述對所述多媒體數據進行特征提取，得到所述多媒體數據對應的embedding圖像向量，包括：

將所述多媒體數據輸入預設的深度神經網絡中；

獲取所述深度神經網絡中的特征提取層對所述多媒體數據進行特征提取后得到的所述embedding圖像向量。

可選的，如前述的方法，所述對所述embedding詞向量和所述embedding圖像向量進行特征融合，得到融合后embedding向量，包括：

對所述embedding詞向量進行embedding向量維度調整得到調維embedding詞向量，對所述embedding圖像向量進行embedding向量維度調整得到所述調維embedding圖像向量；

將各個所述調維embedding詞向量與所述調維embedding圖像向量進行拼接融合后，獲得各個所述調維embedding詞向量與所述調維embedding圖像向量的對應的embedding向量信息；