[發(fā)明專利]基于群體計算的實體解析方法及裝置有效
| 申請?zhí)枺?/td> | 201510076586.4 | 申請日： | 2015-02-12 |
| 公開（公告）號： | CN104573130B | 公開（公告）日： | 2017-11-03 |
| 發(fā)明（設(shè)計）人： | 劉旭東;孫海龍;郭莉莎;張日崇 | 申請（專利權(quán)）人： | 北京航空航天大學(xué) |
| 主分類號： | G06F17/30 | 分類號： | G06F17/30 |
| 代理公司： | 北京同立鈞成知識產(chǎn)權(quán)代理有限公司11205 | 代理人： | 馬爽,黃健 |
| 地址： | 100191 北京市海*** | 國省代碼： | 北京;11 |
| 權(quán)利要求書： | 查看更多 | 說明書： | 查看更多 |
| 摘要： | |||
| 搜索關(guān)鍵詞： | 基于 群體 計算 實體 解析 方法 裝置 | ||
技術(shù)領(lǐng)域
本發(fā)明實施例涉及計算機技術(shù)，尤其涉及一種基于群體計算的實體解析方法及裝置。
背景技術(shù)
數(shù)據(jù)庫是按照數(shù)據(jù)結(jié)構(gòu)來組織、存儲和管理數(shù)據(jù)的倉庫；隨著信息技術(shù)和市場的發(fā)展，數(shù)據(jù)管理不再僅僅是存儲和管理數(shù)據(jù)，而轉(zhuǎn)變成用戶所需要的各種數(shù)據(jù)管理的方式。在數(shù)據(jù)庫管理過程中提出了實體解析，其中，實體解析的目的是識別出數(shù)據(jù)庫中代表同一實體的不同記錄。隨著大數(shù)據(jù)時代的到來，越來越多的數(shù)據(jù)在被進一步地分析處理前需要被匹配或整合，因此，對于高質(zhì)量的實體解析的需求正在迅速增長。
現(xiàn)有的實體解析方法主要針對靜態(tài)數(shù)據(jù)源(即假設(shè)數(shù)據(jù)源是靜態(tài)不變的)，且每次實體解析過程都是對整個數(shù)據(jù)源進行解析。但在實際應(yīng)用中，每段時間數(shù)據(jù)庫中都會有新的數(shù)據(jù)增加、刪除或修改，即大部分數(shù)據(jù)源都是動態(tài)變化的，如社交網(wǎng)站上用戶提交的信息、電子商務(wù)網(wǎng)站上的商品信息、軟件工程領(lǐng)域中的Bug資源庫等；若采用現(xiàn)有的實體解析方法，數(shù)據(jù)庫中每次有新增數(shù)據(jù)時都需要對整個數(shù)據(jù)源進行實體解析，花費較大，即解析效率較低。
發(fā)明內(nèi)容
本發(fā)明實施例提供一種基于群體計算的實體解析方法及裝置，可對靜態(tài)和動態(tài)數(shù)據(jù)集進行實體解析，在較少花銷下實現(xiàn)較高的查全率和查準率，從而提升了解析效率。
第一方面，本發(fā)明實施例提供一種基于群體計算的實體解析方法，包括：
基于眾包的分層聚類方法對數(shù)據(jù)庫中的初始記錄進行分層聚類，得到至少兩個聚類子集；
當檢測到所述數(shù)據(jù)庫中增加了新記錄時，獲取所述新記錄的特征信息；
根據(jù)所述至少兩個聚類子集的子集信息及所述新記錄的特征信息從所述至少兩個聚類子集中得到與所述新記錄最相關(guān)的至少兩個相關(guān)聚類子集；其中，所述至少兩個聚類子集的子集信息包括：所述聚類子集的標簽集信息及索引信息；
根據(jù)所述新記錄與所述至少兩個相關(guān)聚類子集中每個記錄的相似度大小關(guān)系確定與所述至少兩個相關(guān)聚類子集分別對應(yīng)的候選記錄對；
通過眾包用戶標注方式判斷是否至少一個所述候選記錄對代表同一實體；若確定第一候選記錄對代表同一實體，則將所述新記錄添加到第一記錄所屬的第一聚類子集中，并更新所述第一聚類子集的標簽集；若確定所有所述候選記錄對都不代表同一實體，則為所述新記錄建立一個新聚類子集，并為所述新聚類子集創(chuàng)建標簽集；其中，所述第一記錄與所述新記錄形成所述第一候選記錄對。
可選地，所述基于眾包的分層聚類方法對數(shù)據(jù)庫中的初始記錄進行分層聚類，得到至少兩個聚類子集，包括：
根據(jù)每對所述初始記錄之間代表同一實體的概率大小將代表同一實體的概率大于上限概率閾值的初始記錄對聚為一類，形成相應(yīng)的初級聚類子集，并為每個所述初級聚類子集創(chuàng)建標簽集及索引；其中，每對所述初始記錄形成所述初始記錄對；
通過眾包用戶標注方式依次將所述初級聚類子集分層地進行合并，直至合并后的各個聚類子集之間的最小距離大于下限閾值，最終得到至少兩個聚類子集。
可選地，所述根據(jù)每對所述初始記錄之間代表同一實體的概率大小將代表同一實體的概率大于上限概率閾值的初始記錄對聚為一類，形成相應(yīng)的初級聚類子集，包括：
獲取所述初始記錄對代表同一實體的概率；
將代表同一實體的概率大于上限概率閾值的所述初始記錄對聚為一類，形成相應(yīng)的初級聚類子集。
可選地，所述通過眾包用戶標注方式依次將所述初級聚類子集分層地進行合并，直至合并后的各個聚類子集之間的最小距離大于下限閾值，最終得到至少兩個聚類子集，包括：
步驟A、計算所述初級聚類子集中每對初級聚類子集之間的距離，選擇所述距離最小的一對初級聚類子集作為兩個候選合并子集；
步驟B、判斷所述兩個候選合并子集之間的距離是否小于下限閾值；若所述兩個候選合并子集之間的距離小于所述下限閾值，則分別從所述兩個候選合并子集中選擇第二記錄形成第二候選記錄對，將所述第二候選記錄對以及所述兩個候選合并子集的標簽集發(fā)送給眾包平臺，以使所述眾包平臺判斷所述第二候選記錄對是否代表同一實體以及是否對所述標簽集中的標簽點贊；其中，所述第二候選記錄對為所述兩個候選合并子集中代表同一實體的概率最大的記錄對；
該專利技術(shù)資料僅供研究查看技術(shù)是否侵權(quán)等信息，商用須獲得專利權(quán)人授權(quán)。該專利全部權(quán)利屬于北京航空航天大學(xué)，未經(jīng)北京航空航天大學(xué)許可，擅自商用是侵權(quán)行為。如果您想購買此專利、獲得商業(yè)授權(quán)和技術(shù)合作，請聯(lián)系【客服】
本文鏈接：http://www.szxzyx.cn/pat/books/201510076586.4/2.html，轉(zhuǎn)載請聲明來源鉆瓜專利網(wǎng)。
