[發明專利]數據處理方法及裝置

在審

• 申請號: 202010588596.7
• 申請日: 2020-06-24
• 公開（公告）號: CN111767461A
• 公開（公告）日: 2020-10-13
• 發明（設計）人: 張軒瑋
• 申請（專利權）人: 北京奇藝世紀科技有限公司
• 主分類號: G06F16/9535
• 分類號: G06F16/9535;G06F16/45;G06F16/435;G06F40/289;G06F40/30;G06N3/04;G06N3/08
• 代理公司: 北京華夏泰和知識產權代理有限公司 11662
• 代理人: 沈園園;劉蔓莉

1.一種數據處理方法，其特征在于，包括：

獲取多媒體數據和用于對所述多媒體數據進行描述的文本信息；其中，所述多媒體數據包括：視頻或圖像；

確定所述文本信息中每個分詞的embedding詞向量；

對所述多媒體數據進行特征提取，得到所述多媒體數據對應的embedding圖像向量；

對所述embedding詞向量和所述embedding圖像向量進行特征融合，得到融合后embedding向量；

將各個所述融合后embedding向量按照預設的加權策略進行整合，得到多模態embedding向量。

2.根據權利要求1所述的方法，其特征在于，所述確定所述文本信息中每個分詞的embedding詞向量，包括：

對所述文本信息進行分詞處理，得到構成所述文本信息的所述分詞；

根據所述分詞以及預設的標簽詞得到對應的詞表；

根據預先訓練得到的詞向量模型以及所述詞表確定每個所述分詞的所述embedding詞向量。

3.根據權利要求1所述的方法，其特征在于，所述對所述多媒體數據進行特征提取，得到所述多媒體數據對應的embedding圖像向量，包括：

將所述多媒體數據輸入預設的深度神經網絡中；

獲取所述深度神經網絡中的特征提取層對所述多媒體數據進行特征提取后得到的所述embedding圖像向量。

4.根據權利要求2所述的方法，其特征在于，所述對所述embedding詞向量和所述embedding圖像向量進行特征融合，得到融合后embedding向量，包括：

對所述embedding詞向量進行embedding向量維度調整得到調維embedding詞向量，對所述embedding圖像向量進行embedding向量維度調整得到所述調維embedding圖像向量；

將各個所述調維embedding詞向量與所述調維embedding圖像向量進行拼接融合后，獲得各個所述調維embedding詞向量與所述調維embedding圖像向量的對應的embedding向量信息；

通過自注意力機制得到各個所述embedding向量信息之間的全局聯系；

根據所述全局聯系對所述embedding向量信息進行調整，得到所述融合后embedding向量信息；

根據所述融合后embedding向量信息得到對應的所述融合后embedding向量。

5.根據權利要求4所述的方法，其特征在于，在得到所述融合后embedding向量信息之后，還包括：

確定將各個所述融合后embedding向量信息進行解碼的次序信息；

按照所述次序信息確定所有所述融合后embedding向量信息中第一個進行解碼的初始embedding向量信息，并對所述初始embedding向量信息進行解碼得到初始embedding向量；

確定所述初始embedding向量信息對下一進行解碼的全局向量信息的影響權重；按照所述影響權重，根據所述初始embedding向量信息對所述下一進行解碼的融合后embedding向量信息進行調整，并解碼得到調整后embedding向量；按此循環直至對所有所述融合后embedding向量信息進行調整并得到所有所述調整后embedding向量；

確定所述詞表中各個詞語的候選詞向量；

分別確定與所述調整后embedding向量的距離最近的所述候選詞向量；

將所述距離最近的所述候選詞向量對應的詞語作為所述調整后embedding向量對應的內容標簽。

6.根據權利要求1所述的方法，其特征在于，將所述embedding詞向量和所述embedding圖像向量按照預設的加權策略進行整合，得到多模態embedding向量，包括：

對所有所述embedding詞向量和所述embedding圖像向量進行平均值計算，得到平均embedding向量；

根據所述平均embedding向量得到所述多模態embedding向量。