[發(fā)明專利]一種數(shù)據(jù)匹配方法、裝置、存儲(chǔ)介質(zhì)及電子設(shè)備

有效

• 申請(qǐng)?zhí)枺?/td>: 202110757520.7
• 申請(qǐng)日: 2021-07-05
• 公開（公告）號(hào): CN113642603B
• 公開（公告）日: 2023-04-28
• 發(fā)明（設(shè)計(jì)）人: 左凱;徐瑞聰;周鑫;黃彥春;馬潮;李東帥;曹佐
• 申請(qǐng)（專利權(quán)）人: 北京三快在線科技有限公司
• 主分類號(hào): G06F18/24
• 分類號(hào): G06F18/24
• 代理公司: 北京曼威知識(shí)產(chǎn)權(quán)代理有限公司 11709
• 代理人: 方志煒

本說明書公開了一種數(shù)據(jù)匹配方法、裝置、存儲(chǔ)介質(zhì)及電子設(shè)備。采用若干種方式劃分待匹配數(shù)據(jù)以得到所劃分出的子數(shù)據(jù)，根據(jù)各子數(shù)據(jù)之間的注意力權(quán)重確定出各子數(shù)據(jù)的融合數(shù)據(jù)特征，并根據(jù)各子數(shù)據(jù)的融合數(shù)據(jù)特征確定待匹配數(shù)據(jù)之間的匹配結(jié)果。采用不同劃分方式所劃分出的同一模態(tài)的子數(shù)據(jù)之間能夠?qū)崿F(xiàn)信息互補(bǔ)，從而避免在根據(jù)僅通過一種劃分方式所劃分出的子數(shù)據(jù)來確定待匹配數(shù)據(jù)的匹配結(jié)果時(shí)，由劃分方式的固有缺陷所帶來的匹配結(jié)果偏差。

技術(shù)領(lǐng)域

本說明書涉及數(shù)據(jù)處理領(lǐng)域，尤其涉及一種數(shù)據(jù)匹配方法、裝置、存儲(chǔ)介質(zhì)及電子設(shè)備。

背景技術(shù)

與人類可以通過眼睛、耳朵和鼻子來感知信息相類似，人工智能也可以接收多模態(tài)的信號(hào)，例如圖像模態(tài)、文本模態(tài)或音頻模態(tài)等等。而由于不同模態(tài)的信號(hào)中所包含的數(shù)據(jù)對(duì)信息描述的方式不同，來自于多模態(tài)信號(hào)的數(shù)據(jù)(以下簡(jiǎn)稱多模態(tài)數(shù)據(jù))之間所包含的信息存在交叉互補(bǔ)，因此相比于來自于單一模態(tài)信號(hào)的數(shù)據(jù)(以下簡(jiǎn)稱單模態(tài)數(shù)據(jù))，多模態(tài)數(shù)據(jù)能夠描述更豐富的信息。

但理解多模態(tài)數(shù)據(jù)之前，需要先獲知各模態(tài)的數(shù)據(jù)之間的對(duì)應(yīng)關(guān)系，也就是將各模態(tài)的數(shù)據(jù)進(jìn)行匹配。例如電影視頻和字幕在時(shí)間維度上的對(duì)應(yīng)關(guān)系，或是圖像和對(duì)圖像所進(jìn)行描述的文本之間的對(duì)應(yīng)關(guān)系，顯然，只有在建立了對(duì)應(yīng)關(guān)系的基礎(chǔ)之上，才能夠融合并理解多模態(tài)數(shù)據(jù)。

以為圖像和文本確定匹配關(guān)系為例，在現(xiàn)有技術(shù)中，通常采用目標(biāo)檢測(cè)算法從圖像中截取出若干包含完整語義的局部圖像，并根據(jù)各局部圖像中所包含的語義與文本的語義的近似程度來判斷整體圖像與文本是否匹配。

但這種方法對(duì)于目標(biāo)檢測(cè)算法本身的依賴程度過大，當(dāng)目標(biāo)檢測(cè)算法漏截取了局部圖像，就會(huì)導(dǎo)致局部圖像中所包含的信息丟失，從而導(dǎo)致所確定出的整體圖像與文本的匹配結(jié)果出現(xiàn)偏差。

可以看出，如何匹配來自不同模態(tài)的數(shù)據(jù)是一個(gè)亟待解決的問題。

發(fā)明內(nèi)容

本說明書提供一種數(shù)據(jù)匹配方法、裝置、存儲(chǔ)介質(zhì)及電子設(shè)備，以部分的解決現(xiàn)有技術(shù)存在的上述問題。

本說明書采用下述技術(shù)方案：

本說明書提供了一種數(shù)據(jù)匹配方法，包括：

確定由不同模態(tài)類型的待匹配數(shù)據(jù)所構(gòu)成的待匹配數(shù)據(jù)對(duì)；

針對(duì)每個(gè)待匹配數(shù)據(jù)，針對(duì)預(yù)先設(shè)定的每種劃分方式，采用該劃分方式劃分該待匹配數(shù)據(jù)，得到所劃分出的子數(shù)據(jù)，并將所劃分出的子數(shù)據(jù)加入子數(shù)據(jù)集；

提取子數(shù)據(jù)集中各子數(shù)據(jù)的數(shù)據(jù)特征，并將所提取出的數(shù)據(jù)特征輸入預(yù)先訓(xùn)練的數(shù)據(jù)匹配模型；

根據(jù)各子數(shù)據(jù)的數(shù)據(jù)特征，針對(duì)每個(gè)子數(shù)據(jù)，通過所述數(shù)據(jù)匹配模型，確定該子數(shù)據(jù)對(duì)各子數(shù)據(jù)的注意力權(quán)重，并根據(jù)該子數(shù)據(jù)對(duì)各子數(shù)據(jù)的注意力權(quán)重確定該子數(shù)據(jù)的融合數(shù)據(jù)特征；

根據(jù)各子數(shù)據(jù)的融合數(shù)據(jù)特征，確定所述待匹配數(shù)據(jù)對(duì)中不同模態(tài)的待匹配數(shù)據(jù)的匹配結(jié)果。

可選地，預(yù)先設(shè)定的各劃分方式中至少包括第一劃分方式；

采用第一劃分方式劃分待匹配數(shù)據(jù)，具體包括：

將該待匹配數(shù)據(jù)自身劃分為該待匹配數(shù)據(jù)的子數(shù)據(jù)。

可選地，針對(duì)預(yù)先設(shè)定的各劃分方式中的每種劃分方式，采用該劃分方式劃分該待匹配數(shù)據(jù)，具體包括：

確定該待匹配數(shù)據(jù)的模態(tài)類型，作為目標(biāo)模態(tài)類型；

根據(jù)預(yù)先設(shè)定的所述目標(biāo)模態(tài)類型對(duì)應(yīng)的各劃分方式，將所述目標(biāo)模態(tài)類型對(duì)應(yīng)的各劃分方式作為該待匹配數(shù)據(jù)對(duì)應(yīng)的劃分方式；

針對(duì)該待匹配數(shù)據(jù)對(duì)應(yīng)的每種劃分方式，采用該劃分方式劃分該待匹配數(shù)據(jù)。