[發明專利]一種數據處理方法、裝置、電子設備及存儲介質

在審

• 申請號: 202210624687.0
• 申請日: 2022-06-02
• 公開（公告）號: CN115115913A
• 公開（公告）日: 2022-09-27
• 發明（設計）人: 殷緒成;谷偉波;王少英;高宏宇;王紅法;劉威;朱超;劉孟寅
• 申請（專利權）人: 北京科技大學;深圳市騰訊計算機系統有限公司
• 主分類號: G06V10/80
• 分類號: G06V10/80;G06V10/424;G06V10/75;G06V10/774;G06V10/82;G06F16/35;G06N3/04;G06N3/08
• 代理公司: 廣州三環專利商標代理有限公司 44202
• 代理人: 賈允

1.一種數據處理方法，其特征在于，所述方法包括：

獲取待處理文本的文本特征以及待處理圖像的圖像特征；所述待處理文本為所述待處理圖像對應的描述文本；

基于所述文本特征確定所述圖像特征中的關鍵圖像特征；所述關鍵圖像特征為在所述文本特征中存在對應語義信息的圖像特征；

基于所述文本特征和所述關鍵圖像特征進行融合處理得到多模態特征，將所述多模態特征編碼到預設語義空間，得到多模態特征編碼向量；

基于所述多模態特征編碼向量進行序列標注處理，得到目標對象標簽序列；所述目標對象標簽序列用于對所述待處理文本進行結構化處理以得到目標結構化數據。

2.根據權利要求1所述的方法，其特征在于，所述基于所述文本特征確定所述圖像特征中的關鍵圖像特征，包括：

基于所述文本特征和所述圖像特征確定交叉注意力權重；

基于所述交叉注意力權重對所述圖像特征進行調整，得到關鍵圖像特征。

3.根據權利要求2所述的方法，其特征在于，所述基于所述文本特征和所述關鍵圖像特征進行融合處理得到多模態特征，包括：

基于所述文本特征確定自注意力權重；

基于所述自注意力權重對所述文本特征進行調整，得到關鍵文本特征；

對所述文本特征、所述關鍵圖像特征和所述關鍵文本特征進行融合處理，得到多模態特征。

4.根據權利要求1所述的方法，其特征在于，所述基于所述多模態特征編碼向量進行序列標注處理，得到目標對象標簽序列包括：

基于所述多模態特征編碼向量，確定多個預設對象中的第一目標預設對象；所述第一目標預設對象為存在于所述待處理文本中的預設對象；

確定所述第一目標預設對象，在對象原型向量集合中對應的第一目標對象原型向量；所述對象原型向量集合包括所述多個預設對象中每個預設對象的對象原型向量；

基于所述第一目標對象原型向量對所述多模態特征編碼向量進行匹配處理，得到所述第一目標預設對象對應的目標多模態特征編碼向量；

基于所述目標多模態特征編碼向量進行序列標注處理，得到所述第一目標預設對象對應的目標對象標簽序列。

5.根據權利要求4所述的方法，其特征在于，所述基于所述多模態特征編碼向量，確定多個預設對象中的第一目標預設對象包括：

從所述多模態特征編碼向量中，提取預設分類標識符所在位置處的特征編碼向量，得到分類特征編碼向量；所述預設分類標識符為在生成所述文本特征時添加在所述待處理文本開頭的標識符；

基于所述分類特征編碼向量進行分類處理，得到分類結果；所述分類結果包括多個預設對象中每個預設對象對應的置信度，所述置信度表征相應預設對象存在于所述待處理文本的概率；

確定所述多個預設對象中，所述置信度大于置信度閾值的第一目標預設對象。

6.根據權利要求4所述的方法，其特征在于，所述基于所述第一目標對象原型向量對所述多模態特征編碼向量進行匹配處理，得到所述第一目標預設對象對應的目標多模態特征編碼向量包括：

確定所述多模態特征編碼向量中各特征編碼向量與所述第一目標對象原型向量之間的匹配度；

確定所述匹配度與相應特征向量的乘積，將所述乘積的結果與所述相應特征向量在通道維度進行拼接，得到目標多模態特征編碼向量。