[發(fā)明專利]數(shù)據(jù)處理方法及裝置、計算機可讀存儲介質(zhì)以及電子設(shè)備

有效

• 申請?zhí)枺?/td>: 201910843934.4
• 申請日: 2019-09-06
• 公開（公告）號: CN110532304B
• 公開（公告）日: 2020-11-24
• 發(fā)明（設(shè)計）人: 王新左;何源;尹澤夏;張鈞波;鄭宇
• 申請（專利權(quán)）人: 京東城市（北京）數(shù)字科技有限公司
• 主分類號: G06F16/2458
• 分類號: G06F16/2458;G06F16/28
• 代理公司: 北京律智知識產(chǎn)權(quán)代理有限公司 11438
• 代理人: 王輝;闞梓瑄

本發(fā)明實施例是關(guān)于一種數(shù)據(jù)處理方法及裝置、計算機可讀存儲介質(zhì)、電子設(shè)備，涉及數(shù)據(jù)處理技術(shù)領(lǐng)域，該方法包括：對第一待處理數(shù)據(jù)進行處理得到多個數(shù)據(jù)方格，并將第二待處理數(shù)據(jù)添加至各所述數(shù)據(jù)方格中得到多個相鄰集合；根據(jù)各所述相鄰集合生成多個正樣本以及多個負樣本，并根據(jù)各所述正樣本以及各所述負樣本得到多個與所述第一待處理數(shù)據(jù)對應(yīng)的第一向量以及與所述第二待處理數(shù)據(jù)對應(yīng)的第二向量；根據(jù)各所述第一向量以及第二向量之間的相似度，得到所述第一待處理數(shù)據(jù)以及第二待處理數(shù)據(jù)之間的相似度。本發(fā)明實施例提高了相似度計算的準確率。

技術(shù)領(lǐng)域

本發(fā)明實施例涉及數(shù)據(jù)處理技術(shù)領(lǐng)域，具體而言，涉及一種數(shù)據(jù)處理方法、數(shù)據(jù)處理裝置、計算機可讀存儲介質(zhì)以及電子設(shè)備。

背景技術(shù)

隨著數(shù)據(jù)采集技術(shù)的不斷發(fā)展，越來越多的異源數(shù)據(jù)開始涌現(xiàn)；其中，異源數(shù)據(jù)可以包括來自于不同數(shù)據(jù)源的數(shù)據(jù)。因此，對異源數(shù)據(jù)的利用和分析逐漸成為企業(yè)業(yè)務(wù)和技術(shù)上的關(guān)鍵瓶頸。

在現(xiàn)有的對異源數(shù)據(jù)進行匹配的方案中，大多數(shù)是通過匹配數(shù)據(jù)庫中具有相同字段的數(shù)據(jù)，計算相似度來進行匹配。

但是，上述方案存在如下缺陷：一方面，異源數(shù)據(jù)往往難以含有完全相同數(shù)值的字段，甚至他們的字段不在同一表示空間，無法計算相似度。另一方面，異源數(shù)據(jù)的表示形式多樣，僅僅通過相同字段來進行匹配難以獲得精確的相似度值，使得相似度計算結(jié)果的準確度較低。

因此，需要提供一種新的數(shù)據(jù)處理方法及裝置。

需要說明的是，在上述背景技術(shù)部分發(fā)明的信息僅用于加強對本發(fā)明的背景的理解，因此可以包括不構(gòu)成對本領(lǐng)域普通技術(shù)人員已知的現(xiàn)有技術(shù)的信息。

發(fā)明內(nèi)容

本發(fā)明的目的在于提供一種數(shù)據(jù)處理方法、數(shù)據(jù)處理裝置、計算機可讀存儲介質(zhì)以及電子設(shè)備，進而至少在一定程度上克服由于相關(guān)技術(shù)的限制和缺陷而導(dǎo)致的相似度計算結(jié)果的準確度較低的問題。

根據(jù)本公開的一個方面，提供一種數(shù)據(jù)處理方法，包括：

對第一待處理數(shù)據(jù)進行處理得到多個數(shù)據(jù)方格，并將第二待處理數(shù)據(jù)添加至各所述數(shù)據(jù)方格中得到多個相鄰集合；

根據(jù)各所述相鄰集合生成多個正樣本以及多個負樣本，并根據(jù)各所述正樣本以及各所述負樣本得到多個與所述第一待處理數(shù)據(jù)對應(yīng)的第一向量以及與所述第二待處理數(shù)據(jù)對應(yīng)的第二向量；

根據(jù)各所述第一向量以及第二向量之間的相似度，得到所述第一待處理數(shù)據(jù)以及第二待處理數(shù)據(jù)之間的相似度。

在本公開的一種示例性實施例中，所述第一待處理數(shù)據(jù)中包括多個第一數(shù)據(jù)實體，所述第二待處理數(shù)據(jù)中包括多個第二數(shù)據(jù)實體；

其中，將第二待處理數(shù)據(jù)添加至各所述數(shù)據(jù)方格中得到多個相鄰集合包括：

根據(jù)所述第二待處理數(shù)據(jù)中的各所述第二數(shù)據(jù)實體與所述第一待處理數(shù)據(jù)中的各所述第一數(shù)據(jù)實體之間的關(guān)聯(lián)關(guān)系，將各所述第二數(shù)據(jù)實體對應(yīng)添加至各所述數(shù)據(jù)方格中得到多個所述相鄰集合。

在本公開的一種示例性實施例中，根據(jù)各所述相鄰集合生成多個正樣本以及多個負樣本包括：

對各所述相鄰集合中的第一數(shù)據(jù)實體以及第二數(shù)據(jù)實體進行排序得到多個序列，并將各所述序列作為所述正樣本；其中，每一個所述序列中均包括所述第一數(shù)據(jù)實體以及所述第二數(shù)據(jù)實體；

在任意兩個不同的所述相鄰集合中隨機抽取多個所述第一數(shù)據(jù)實體以及多個所述第二數(shù)據(jù)實體，組成多個所述負樣本。

在本公開的一種示例性實施例中，根據(jù)各所述正樣本以及各所述負樣本得到多個與所述第一待處理數(shù)據(jù)對應(yīng)的第一向量以及與所述第二待處理數(shù)據(jù)對應(yīng)的第二向量包括：