[發明專利]一種數據匹配方法、裝置、存儲介質及電子設備

有效

• 申請號: 202110757520.7
• 申請日: 2021-07-05
• 公開（公告）號: CN113642603B
• 公開（公告）日: 2023-04-28
• 發明（設計）人: 左凱;徐瑞聰;周鑫;黃彥春;馬潮;李東帥;曹佐
• 申請（專利權）人: 北京三快在線科技有限公司
• 主分類號: G06F18/24
• 分類號: G06F18/24
• 代理公司: 北京曼威知識產權代理有限公司 11709
• 代理人: 方志煒

1.一種數據匹配方法，其特征在于，包括：

確定由不同模態類型的待匹配數據所構成的待匹配數據對，所述待匹配數據為圖像形式的數據；

針對每個待匹配數據，針對預先設定的每種劃分方式，采用該劃分方式劃分該待匹配數據，得到所劃分出的子數據，并將所劃分出的子數據加入子數據集；

提取子數據集中各子數據的數據特征，并將所提取出的數據特征輸入預先訓練的數據匹配模型；

根據各子數據的數據特征，針對每個子數據，通過所述數據匹配模型，確定該子數據對各子數據的注意力權重，并根據該子數據對各子數據的注意力權重確定該子數據的融合數據特征；

根據各子數據的融合數據特征，確定所述待匹配數據對中不同模態的待匹配數據的匹配結果；

其中，針對預先設定的各劃分方式中的每種劃分方式，采用該劃分方式劃分該待匹配數據，具體包括：

確定該待匹配數據的模態類型，作為目標模態類型；

根據預先設定的所述目標模態類型對應的各劃分方式，將所述目標模態類型對應的各劃分方式作為該待匹配數據對應的劃分方式；

針對該待匹配數據對應的每種劃分方式，采用該劃分方式劃分該待匹配數據；

當所述目標模態類型為圖像模態時，目標模態類型對應的各劃分方式包括第一劃分方式、第二劃分方式以及第三劃分方式中的至少兩種；

采用第一劃分方式劃分該待匹配數據，具體包括：

將該待匹配數據自身劃分為該待匹配數據的子數據；

采用第二劃分方式劃分該待匹配數據，具體包括：

通過目標檢測算法檢測圖像中所包含的目標，將所檢測出的目標所在的區域作為該待匹配數據的子數據；

采用第三劃分方式劃分該待匹配數據，具體包括：

以預設的圖像尺寸將該待匹配數據劃分為若干尺寸相同的單元區域，并將所劃分出的單元區域作為該待匹配數據的子數據；

所述預先訓練的數據匹配模型，具體包括：

確定由不同模態類型的樣本數據所構成的樣本數據對，以及所述樣本數據對中不同模態的樣本數據的標注匹配結果；

針對每個樣本數據，針對預先設定的各劃分方式中的每種劃分方式，采用該劃分方式劃分該樣本數據，并得到所劃分出的樣本子數據，并將所劃分出的子數據加入樣本子數據集；

提取樣本子數據集中各樣本子數據的數據特征，并將所提取出的數據特征輸入數據匹配模型；

根據各樣本子數據的數據特征，針對每個樣本子數據，通過所述數據匹配模型，確定該樣本子數據對各樣本子數據的注意力權重，并根據該樣本子數據對各樣本子數據的注意力權重確定該樣本子數據的融合數據特征；

根據各樣本子數據的融合數據特征，確定所述樣本數據對中不同模態的樣本數據的匹配結果，作為預測匹配結果；

以所述預測匹配結果和標注匹配結果之前的差異最小為目標，調整所述數據匹配模型中的參數。

2.如權利要求1所述的方法，其特征在于，預先設定的各劃分方式中至少包括第一劃分方式；

采用第一劃分方式劃分待匹配數據，具體包括：

將該待匹配數據自身劃分為該待匹配數據的子數據。

3.如權利要求1所述的方法，其特征在于，所述數據匹配模型包括由若干順次相連的各注意力子網所構成的注意力網絡；

確定該子數據對各子數據的注意力權重，并根據該子數據對各子數據的注意力權重確定該子數據的融合數據特征，具體包括：

針對每個注意力子網，根據輸入該注意力子網的各子數據的待融合數據特征，確定該子數據對各子數據的注意力權重，并根據該子數據對各子數據的注意力權重確定該子數據在該注意力子網下的融合數據特征，其中，當該注意力子網為第一個注意力子網時，輸入該注意力子網的各子數據的待融合數據特征為各子數據的數據特征；

根據各子數據的融合數據特征，確定所述待匹配數據對中不同模態的待匹配數據的匹配結果，具體包括：

根據各子數據在最后一個注意力子網下的融合數據特征，確定所述待匹配數據對中不同模態的待匹配數據的匹配結果。

4.如權利要求1所述的方法，提取子數據集中各子數據的數據特征，具體包括：

確定各子數據之間的間隔符；

將各間隔符作為子數據加入所述子數據集，并提取子數據集中各子數據的數據特征；

根據各子數據的融合數據特征，確定所述待匹配數據對中不同模態的待匹配數據的匹配結果，具體包括：

從各間隔符中選擇出指定間隔符；

根據所述指定間隔符的融合數據特征，確定所述待匹配數據對中不同模態的待匹配數據的匹配結果。