[發(fā)明專利]一種數(shù)據(jù)匹配方法、裝置、存儲介質及電子設備

有效

• 申請?zhí)枺?/td>: 202110757520.7
• 申請日: 2021-07-05
• 公開（公告）號: CN113642603B
• 公開（公告）日: 2023-04-28
• 發(fā)明（設計）人: 左凱;徐瑞聰;周鑫;黃彥春;馬潮;李東帥;曹佐
• 申請（專利權）人: 北京三快在線科技有限公司
• 主分類號: G06F18/24
• 分類號: G06F18/24
• 代理公司: 北京曼威知識產(chǎn)權代理有限公司 11709
• 代理人: 方志煒

1.一種數(shù)據(jù)匹配方法，其特征在于，包括：

確定由不同模態(tài)類型的待匹配數(shù)據(jù)所構成的待匹配數(shù)據(jù)對，所述待匹配數(shù)據(jù)為圖像形式的數(shù)據(jù)；

針對每個待匹配數(shù)據(jù)，針對預先設定的每種劃分方式，采用該劃分方式劃分該待匹配數(shù)據(jù)，得到所劃分出的子數(shù)據(jù)，并將所劃分出的子數(shù)據(jù)加入子數(shù)據(jù)集；

提取子數(shù)據(jù)集中各子數(shù)據(jù)的數(shù)據(jù)特征，并將所提取出的數(shù)據(jù)特征輸入預先訓練的數(shù)據(jù)匹配模型；

根據(jù)各子數(shù)據(jù)的數(shù)據(jù)特征，針對每個子數(shù)據(jù)，通過所述數(shù)據(jù)匹配模型，確定該子數(shù)據(jù)對各子數(shù)據(jù)的注意力權重，并根據(jù)該子數(shù)據(jù)對各子數(shù)據(jù)的注意力權重確定該子數(shù)據(jù)的融合數(shù)據(jù)特征；

根據(jù)各子數(shù)據(jù)的融合數(shù)據(jù)特征，確定所述待匹配數(shù)據(jù)對中不同模態(tài)的待匹配數(shù)據(jù)的匹配結果；

其中，針對預先設定的各劃分方式中的每種劃分方式，采用該劃分方式劃分該待匹配數(shù)據(jù)，具體包括：

確定該待匹配數(shù)據(jù)的模態(tài)類型，作為目標模態(tài)類型；

根據(jù)預先設定的所述目標模態(tài)類型對應的各劃分方式，將所述目標模態(tài)類型對應的各劃分方式作為該待匹配數(shù)據(jù)對應的劃分方式；

針對該待匹配數(shù)據(jù)對應的每種劃分方式，采用該劃分方式劃分該待匹配數(shù)據(jù)；

當所述目標模態(tài)類型為圖像模態(tài)時，目標模態(tài)類型對應的各劃分方式包括第一劃分方式、第二劃分方式以及第三劃分方式中的至少兩種；

采用第一劃分方式劃分該待匹配數(shù)據(jù)，具體包括：

將該待匹配數(shù)據(jù)自身劃分為該待匹配數(shù)據(jù)的子數(shù)據(jù)；

采用第二劃分方式劃分該待匹配數(shù)據(jù)，具體包括：

通過目標檢測算法檢測圖像中所包含的目標，將所檢測出的目標所在的區(qū)域作為該待匹配數(shù)據(jù)的子數(shù)據(jù)；

采用第三劃分方式劃分該待匹配數(shù)據(jù)，具體包括：

以預設的圖像尺寸將該待匹配數(shù)據(jù)劃分為若干尺寸相同的單元區(qū)域，并將所劃分出的單元區(qū)域作為該待匹配數(shù)據(jù)的子數(shù)據(jù)；

所述預先訓練的數(shù)據(jù)匹配模型，具體包括：

確定由不同模態(tài)類型的樣本數(shù)據(jù)所構成的樣本數(shù)據(jù)對，以及所述樣本數(shù)據(jù)對中不同模態(tài)的樣本數(shù)據(jù)的標注匹配結果；

針對每個樣本數(shù)據(jù)，針對預先設定的各劃分方式中的每種劃分方式，采用該劃分方式劃分該樣本數(shù)據(jù)，并得到所劃分出的樣本子數(shù)據(jù)，并將所劃分出的子數(shù)據(jù)加入樣本子數(shù)據(jù)集；

提取樣本子數(shù)據(jù)集中各樣本子數(shù)據(jù)的數(shù)據(jù)特征，并將所提取出的數(shù)據(jù)特征輸入數(shù)據(jù)匹配模型；

根據(jù)各樣本子數(shù)據(jù)的數(shù)據(jù)特征，針對每個樣本子數(shù)據(jù)，通過所述數(shù)據(jù)匹配模型，確定該樣本子數(shù)據(jù)對各樣本子數(shù)據(jù)的注意力權重，并根據(jù)該樣本子數(shù)據(jù)對各樣本子數(shù)據(jù)的注意力權重確定該樣本子數(shù)據(jù)的融合數(shù)據(jù)特征；

根據(jù)各樣本子數(shù)據(jù)的融合數(shù)據(jù)特征，確定所述樣本數(shù)據(jù)對中不同模態(tài)的樣本數(shù)據(jù)的匹配結果，作為預測匹配結果；

以所述預測匹配結果和標注匹配結果之前的差異最小為目標，調整所述數(shù)據(jù)匹配模型中的參數(shù)。

2.如權利要求1所述的方法，其特征在于，預先設定的各劃分方式中至少包括第一劃分方式；

采用第一劃分方式劃分待匹配數(shù)據(jù)，具體包括：

將該待匹配數(shù)據(jù)自身劃分為該待匹配數(shù)據(jù)的子數(shù)據(jù)。

3.如權利要求1所述的方法，其特征在于，所述數(shù)據(jù)匹配模型包括由若干順次相連的各注意力子網(wǎng)所構成的注意力網(wǎng)絡；

確定該子數(shù)據(jù)對各子數(shù)據(jù)的注意力權重，并根據(jù)該子數(shù)據(jù)對各子數(shù)據(jù)的注意力權重確定該子數(shù)據(jù)的融合數(shù)據(jù)特征，具體包括：

針對每個注意力子網(wǎng)，根據(jù)輸入該注意力子網(wǎng)的各子數(shù)據(jù)的待融合數(shù)據(jù)特征，確定該子數(shù)據(jù)對各子數(shù)據(jù)的注意力權重，并根據(jù)該子數(shù)據(jù)對各子數(shù)據(jù)的注意力權重確定該子數(shù)據(jù)在該注意力子網(wǎng)下的融合數(shù)據(jù)特征，其中，當該注意力子網(wǎng)為第一個注意力子網(wǎng)時，輸入該注意力子網(wǎng)的各子數(shù)據(jù)的待融合數(shù)據(jù)特征為各子數(shù)據(jù)的數(shù)據(jù)特征；

根據(jù)各子數(shù)據(jù)的融合數(shù)據(jù)特征，確定所述待匹配數(shù)據(jù)對中不同模態(tài)的待匹配數(shù)據(jù)的匹配結果，具體包括：

根據(jù)各子數(shù)據(jù)在最后一個注意力子網(wǎng)下的融合數(shù)據(jù)特征，確定所述待匹配數(shù)據(jù)對中不同模態(tài)的待匹配數(shù)據(jù)的匹配結果。

4.如權利要求1所述的方法，提取子數(shù)據(jù)集中各子數(shù)據(jù)的數(shù)據(jù)特征，具體包括：

確定各子數(shù)據(jù)之間的間隔符；

將各間隔符作為子數(shù)據(jù)加入所述子數(shù)據(jù)集，并提取子數(shù)據(jù)集中各子數(shù)據(jù)的數(shù)據(jù)特征；

根據(jù)各子數(shù)據(jù)的融合數(shù)據(jù)特征，確定所述待匹配數(shù)據(jù)對中不同模態(tài)的待匹配數(shù)據(jù)的匹配結果，具體包括：

從各間隔符中選擇出指定間隔符；

根據(jù)所述指定間隔符的融合數(shù)據(jù)特征，確定所述待匹配數(shù)據(jù)對中不同模態(tài)的待匹配數(shù)據(jù)的匹配結果。