[發(fā)明專利]一種數(shù)據(jù)實(shí)體識別方法、裝置、計(jì)算機(jī)設(shè)備及存儲介質(zhì)

在審

• 申請?zhí)枺?/td>: 202210430975.2
• 申請日: 2022-04-22
• 公開（公告）號: CN114780528A
• 公開（公告）日: 2022-07-22
• 發(fā)明（設(shè)計(jì)）人: 樊文飛;陸平;朱筱可
• 申請（專利權(quán)）人: 深圳計(jì)算科學(xué)研究院
• 主分類號: G06F16/215
• 分類號: G06F16/215;G06F16/28;G06F16/2453;G06F16/242;G06F16/22
• 代理公司: 深圳市精英專利事務(wù)所 44242
• 代理人: 丁宇龍

本發(fā)明公開了一種數(shù)據(jù)實(shí)體識別方法、裝置、計(jì)算機(jī)設(shè)備及存儲介質(zhì)，該方法包括：通過數(shù)據(jù)的關(guān)系模式和屬性構(gòu)建數(shù)據(jù)集；對所述數(shù)據(jù)集中的謂詞進(jìn)行合取，并根據(jù)合取的謂詞和數(shù)據(jù)的關(guān)系模式建立匹配規(guī)則；基于所述匹配規(guī)則，采用MQO技術(shù)生成查詢計(jì)劃；利用所述查詢計(jì)劃對實(shí)體數(shù)據(jù)集合進(jìn)行匹配計(jì)算。本發(fā)明提出了擴(kuò)展匹配依賴(MRLs)作為實(shí)體消解的規(guī)則模型，同時提出了一種適用于MRLs的并行實(shí)體消解算法PER，即使用MRLs作為匹配規(guī)則，以此達(dá)到高的準(zhǔn)確率和可解釋性，同時使用HyperCube和MQO方法相結(jié)合降低通信和計(jì)算成本。除此之外，本發(fā)明還設(shè)計(jì)了匹配算法的專用數(shù)據(jù)結(jié)構(gòu)以加速算法執(zhí)行并降低內(nèi)存占用。

技術(shù)領(lǐng)域

本發(fā)明涉及計(jì)算機(jī)軟件技術(shù)領(lǐng)域，特別涉及一種數(shù)據(jù)實(shí)體識別方法、裝置、計(jì)算機(jī)設(shè)備及存儲介質(zhì)。

背景技術(shù)

實(shí)體識別(ER)，也稱為重復(fù)數(shù)據(jù)刪除，實(shí)體消解或記錄鏈接，是指識別指向同一現(xiàn)實(shí)世界實(shí)體的關(guān)系中的元組的過程。作為一種提升數(shù)據(jù)質(zhì)量的重要方法，實(shí)體識別受到研究人員的廣泛關(guān)注。我們將相關(guān)技術(shù)背景分類如下。

基于學(xué)習(xí)(ML)的工作：例如基于深度學(xué)習(xí)的ER方法、基于主動學(xué)習(xí)的ER方法和基于遷移學(xué)習(xí)的ER方法；

附加依賴項(xiàng)：例如，建立在單表(關(guān)系)上的唯一性約束、附加依賴項(xiàng)(MD)和匹配規(guī)則；

機(jī)器學(xué)習(xí)與邏輯規(guī)則混合的方法：例如，通過使用附加依賴項(xiàng)和匹配規(guī)則來對數(shù)據(jù)進(jìn)行預(yù)處理，最后使用ML對數(shù)據(jù)進(jìn)行判別。

為了進(jìn)一步提升消解質(zhì)量，現(xiàn)有技術(shù)提出Collective ER方法。相較于傳統(tǒng)ER方法，Collective ER方法在消解過程通過鏈接其他關(guān)系，考慮了更多的他表信息從而提高了消解準(zhǔn)確率。為了提高ER效率，當(dāng)前通常使用滑動窗口技術(shù)和數(shù)據(jù)劃分技術(shù)。其中滑動窗口首先對表中的元組進(jìn)行排序，然后使用滑動窗口機(jī)制確定工作集，ER運(yùn)算僅發(fā)生在對應(yīng)于同一窗口的數(shù)據(jù)元祖。數(shù)據(jù)分塊首先通過主鍵將相似實(shí)體聚類為“不相交”的數(shù)據(jù)塊，然后僅在每個塊內(nèi)進(jìn)行成對比較。

并行實(shí)體消解：并行ER算法已經(jīng)在MapReduce(一種編程模型，用于大規(guī)模數(shù)據(jù)集(大于1TB)的并行運(yùn)算)或MPC(一種反饋控制策略)下進(jìn)行了研究。

綜上來看，現(xiàn)有的實(shí)體消解方法具有如下不足或限制：

雖然人們早就認(rèn)識到更準(zhǔn)確的ER需要將跨多個表的信息集成到一起(CollectiveER)，但現(xiàn)有的數(shù)據(jù)質(zhì)量規(guī)則難以表達(dá)Collective ER，并且Collective ER的計(jì)算復(fù)雜性問題也尚未得到解決。效率方面，傳統(tǒng)滑動窗口技術(shù)或者數(shù)據(jù)劃分技術(shù)均不再適用于Collective ER，因?yàn)樗鼈冡槍Φ氖峭瑯?gòu)元組表，而Collective ER則適用于多個表(關(guān)系)。傳統(tǒng)的ER雖然能夠鏈接其他關(guān)系但是并不能通過使用之前推導(dǎo)出的匹配來識別新的匹配，從而限制了ER質(zhì)量。因此，如何提高實(shí)體識別的準(zhǔn)確性和效率是本領(lǐng)域技術(shù)人員需要解決的問題。

發(fā)明內(nèi)容

本發(fā)明實(shí)施例提供了一種數(shù)據(jù)實(shí)體識別方法、裝置、計(jì)算機(jī)設(shè)備及存儲介質(zhì)，旨在提高對數(shù)據(jù)的實(shí)體識別效率和精度。

第一方面，本發(fā)明實(shí)施例提供了一種數(shù)據(jù)實(shí)體識別方法，包括：

通過數(shù)據(jù)的關(guān)系模式和屬性構(gòu)建數(shù)據(jù)集；

對所述數(shù)據(jù)集中的謂詞進(jìn)行合取，并根據(jù)合取的謂詞和數(shù)據(jù)的關(guān)系模式建立匹配規(guī)則；

基于所述匹配規(guī)則，采用MQO技術(shù)生成查詢計(jì)劃；

利用所述查詢計(jì)劃對實(shí)體數(shù)據(jù)集合進(jìn)行匹配計(jì)算。

第二方面，本發(fā)明實(shí)施例提供了一種數(shù)據(jù)實(shí)體識別裝置，包括：

數(shù)據(jù)集構(gòu)建單元，用于通過數(shù)據(jù)的關(guān)系模式和屬性構(gòu)建數(shù)據(jù)集；