[發(fā)明專利]一種從多源數(shù)據(jù)集成視角構(gòu)建企業(yè)知識(shí)圖譜的方法

在審

• 申請(qǐng)?zhí)枺?/td>: 201811060811.5
• 申請(qǐng)日: 2018-09-12
• 公開（公告）號(hào): CN109284394A
• 公開（公告）日: 2019-01-29
• 發(fā)明（設(shè)計(jì)）人: 云紅艷;賀英;林莉;張秀華;胡歡
• 申請(qǐng)（專利權(quán)）人: 青島大學(xué)
• 主分類號(hào): G06F16/36
• 分類號(hào): G06F16/36;G06F16/953;G06F16/958;G06N5/02
• 代理公司: 北京匯捷知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11531
• 代理人: 李宏偉

1.一種從多源數(shù)據(jù)集成視角構(gòu)建企業(yè)知識(shí)圖譜的方法，其特征在于：基于本體建模和Karma建模實(shí)現(xiàn)多源異構(gòu)數(shù)據(jù)集成的視角快速構(gòu)建企業(yè)知識(shí)圖譜可以分為數(shù)據(jù)獲取、知識(shí)融合和知識(shí)加工存儲(chǔ)；

其中，數(shù)據(jù)獲取方法為：數(shù)據(jù)集一部分來自政府的關(guān)系數(shù)據(jù)庫，另一部分通過構(gòu)建網(wǎng)頁爬蟲抽取百度百科中相關(guān)的企業(yè)信息數(shù)據(jù)，數(shù)據(jù)采用JSON格式存儲(chǔ)，針對(duì)百科類網(wǎng)頁數(shù)據(jù)的抽取，構(gòu)建一套基于WebMagic框架的企業(yè)爬蟲系統(tǒng)，通過編寫正則表達(dá)式來獲取網(wǎng)頁中需要的企業(yè)信息數(shù)據(jù)，爬蟲系統(tǒng)框架包括以下四個(gè)組件：下載器、頁面解析器、調(diào)度器、管道組件，在Spider容器中，將這幾個(gè)組件組織起來，通過相互交互和流程化的執(zhí)行，根據(jù)具體需求完成數(shù)據(jù)抽取；

知識(shí)融合方法：針對(duì)多源異構(gòu)的結(jié)構(gòu)化數(shù)據(jù)集，提出了基于企業(yè)法人本體的數(shù)據(jù)集成方法，對(duì)獲取到的數(shù)據(jù)集進(jìn)行分析和整理，抽取出實(shí)體類、對(duì)象屬性和數(shù)據(jù)屬性本體的相關(guān)概念，完成企業(yè)領(lǐng)域本體的構(gòu)建，利用本體構(gòu)建Karma模型進(jìn)行多源數(shù)據(jù)的快速集成與融合；

知識(shí)加工方法：推理引擎完成企業(yè)法人本體和集成發(fā)布的企業(yè)RDF數(shù)據(jù)的上下位推理、缺失類別補(bǔ)全、一致性檢測和自定義規(guī)則推理四大功能，對(duì)已有知識(shí)進(jìn)行補(bǔ)全和修正；

知識(shí)存儲(chǔ)方法：采用Neo4j圖數(shù)據(jù)庫對(duì)知識(shí)圖譜進(jìn)行持久化存儲(chǔ)，通過構(gòu)建RDF2Neo4j解釋器，將RDF三元組數(shù)據(jù)導(dǎo)入Neo4j圖數(shù)據(jù)庫中進(jìn)行存儲(chǔ)。

2.按照權(quán)利要求1所述一種從多源數(shù)據(jù)集成視角構(gòu)建企業(yè)知識(shí)圖譜的方法，其特征在于：所述企業(yè)爬蟲系統(tǒng)的工作流程：第一步，針對(duì)政府提供的部分企業(yè)數(shù)據(jù)進(jìn)行解析，抽取其中的企業(yè)實(shí)體名稱，利用百度百科提供統(tǒng)一的API接口，自動(dòng)拼接初始URL；

第二步，下載器使用Apache HttpClient作為下載組件對(duì)提供的初始URL發(fā)起請(qǐng)求，獲取網(wǎng)頁對(duì)象Page；

第三步，頁面解析器采用pageProcessor中的process方法對(duì)網(wǎng)頁進(jìn)行解析，使用jsoup解析HTML頁面成DOM樹，通過CSS Selector抽取有用的信息資源以及發(fā)現(xiàn)新的種子URL，針對(duì)百度百科的企業(yè)詞條，主要抽取詞條標(biāo)題、InfoBox和詞條概述三個(gè)部分；

第四步，調(diào)度器負(fù)責(zé)管理待抓取的URL以及去重操作；

第五步，管道器負(fù)責(zé)處理抽取的網(wǎng)頁數(shù)據(jù)，主要包括保存數(shù)據(jù)到文件或數(shù)據(jù)庫。

3.按照權(quán)利要求1所述一種從多源數(shù)據(jù)集成視角構(gòu)建企業(yè)知識(shí)圖譜的方法，其特征在于：所述Karma的建模方法：

第一步是導(dǎo)入構(gòu)建的企業(yè)法人本體和多源異構(gòu)的結(jié)構(gòu)化數(shù)據(jù)集，支持導(dǎo)入的數(shù)據(jù)格式包括電子表格、關(guān)系數(shù)據(jù)庫、XML、CSV、JSON；

第二步是清洗規(guī)范數(shù)據(jù)，確保數(shù)據(jù)格式和內(nèi)容的完整性；

第三步是設(shè)置數(shù)據(jù)列的語義類型，導(dǎo)入本體之后，需要在本體與不同數(shù)據(jù)源之間建立語義映射，解決一詞多義或多詞一義語義異構(gòu)問題；

第四步是指定語義類型之間的關(guān)系，根據(jù)本體和設(shè)置的數(shù)據(jù)列語義類型構(gòu)建節(jié)點(diǎn)之間的語義關(guān)聯(lián)圖。

4.按照權(quán)利要求1所述一種從多源數(shù)據(jù)集成視角構(gòu)建企業(yè)知識(shí)圖譜的方法，其特征在于：所述采用Jena推理引擎進(jìn)行知識(shí)圖譜上下位推理、缺失類別補(bǔ)全、一致性檢測和自定義規(guī)則推理進(jìn)行知識(shí)補(bǔ)全和修正的具體方法：①引入RDFS推理機(jī)，利用RDFS中subClassOf關(guān)鍵字進(jìn)行概念之間上下位關(guān)系推理；②引入OWL推理機(jī)對(duì)個(gè)體類別做完整性推理，補(bǔ)全個(gè)體的缺失類別；③通過Jena提供的validate檢測本體的不一致性，生成檢測報(bào)告并打印不一致實(shí)例的具體信息；④采用SWRL(Semantic Web Rule Language)描述用戶自定義規(guī)則，用戶通過定義推理規(guī)則庫來實(shí)現(xiàn)規(guī)則推理。