[發(fā)明專利]一種基于大數(shù)據(jù)技術的全球智庫數(shù)據(jù)開發(fā)與組織方法

在審

• 申請?zhí)枺?/td>: 201910188355.0
• 申請日: 2019-03-13
• 公開（公告）號: CN109933693A
• 公開（公告）日: 2019-06-25
• 發(fā)明（設計）人: 姜開學;鄧代海;魏姚
• 申請（專利權）人: 重慶尚唯信息技術有限公司
• 主分類號: G06F16/90
• 分類號: G06F16/90;G06F16/906;G06F16/903
• 代理公司: 重慶啟恒騰元專利代理事務所(普通合伙) 50232
• 代理人: 趙晨宇

本發(fā)明涉及數(shù)據(jù)開發(fā)與組織技術領域，尤其涉及一種基于大數(shù)據(jù)技術的全球智庫數(shù)據(jù)開發(fā)與組織方法；方法包括如下步驟：通過Web信息采集系統(tǒng)對智庫的數(shù)據(jù)進行自動化采集，并形成字段信息；通過對字段的定義和所描述對象的屬性，形成一批相同類型的數(shù)據(jù)，對該類數(shù)據(jù)進行組織；創(chuàng)建數(shù)據(jù)體之間的關系；通過大數(shù)據(jù)處理技術，對這些數(shù)據(jù)進行預處理，使其成為有用的成品數(shù)據(jù)；通過關聯(lián)挖掘技術和聚類挖掘技術尋找成品數(shù)據(jù)中數(shù)據(jù)項之間的關聯(lián)關系，從大量的數(shù)據(jù)中找出隱藏的信息；通過可視化技術對數(shù)據(jù)進行展示，把數(shù)據(jù)隱藏的信息規(guī)律直觀的展示出來；實現(xiàn)了技術的實質性提升，在先進性、新穎性、智能性、直觀性等方面有著獨特優(yōu)勢。

技術領域

本發(fā)明涉及數(shù)據(jù)開發(fā)與組織技術領域，尤其涉及一種基于大數(shù)據(jù)技術的全球智庫數(shù)據(jù)開發(fā)與組織方法。

背景技術

在數(shù)字圖書行業(yè)的數(shù)據(jù)庫廠商中，目前主流的數(shù)據(jù)獲取主要是通過掃描錄入、成品購買等方式，該方式數(shù)據(jù)獲取成本較高；在數(shù)據(jù)組織方式上大多以文獻的方式進行組織，比較單一、不夠靈活；在數(shù)據(jù)處理與挖掘方面主要針對的是結構化數(shù)據(jù)，非結構化數(shù)據(jù)在處理與挖掘時比較困難；在可視化展示方面，沒有體現(xiàn)大數(shù)據(jù)的特點，展示方式不直觀。

發(fā)明內容

本發(fā)明的目的在于克服上述現(xiàn)有技術的不足，提供一種基于大數(shù)據(jù)技術的全球智庫數(shù)據(jù)開發(fā)與組織方法。

本發(fā)明提供了一種基于大數(shù)據(jù)技術的全球智庫數(shù)據(jù)開發(fā)與組織方法，所述方法包括下述步驟：

根據(jù)智庫機構、智庫動態(tài)、研究專家、研究成果，通過Web信息采集系統(tǒng)對智庫的數(shù)據(jù)進行自動化采集，并形成不同的字段信息；

通過對字段的定義和所描述對象的屬性，并以關系型數(shù)據(jù)庫建立的表結構為基礎，形成一批相同類型的數(shù)據(jù)，對該類數(shù)據(jù)進行組織；進而創(chuàng)建數(shù)據(jù)體之間的關系；

根據(jù)數(shù)據(jù)體之間的關系，將數(shù)據(jù)主要分為結構化數(shù)據(jù)、半結構化數(shù)據(jù)和非結構化數(shù)據(jù)，通過大數(shù)據(jù)處理技術，對這些數(shù)據(jù)進行預處理，所述預處理包括數(shù)據(jù)清洗、數(shù)據(jù)集成、數(shù)據(jù)變換以及數(shù)據(jù)歸約，使其成為有用的成品數(shù)據(jù)；

通過關聯(lián)挖掘技術和聚類挖掘技術尋找成品數(shù)據(jù)中數(shù)據(jù)項之間的關聯(lián)關系，讓同類型的資源集中展示，深度挖掘出同類型資源的聚集效應，從大量的數(shù)據(jù)中找出隱藏的信息；

通過可視化技術對數(shù)據(jù)進行展示，把數(shù)據(jù)隱藏的信息規(guī)律直觀的展示出來，能夠迅速和有效地簡化與提煉數(shù)據(jù)流，使我們能夠交互篩選大量的數(shù)據(jù)，完成數(shù)據(jù)分析。

可選的，所述智庫機構的字段信息包括智庫名稱、智庫排名、智庫簡介、所屬成果、所屬專家、聯(lián)系方式；

所述智庫動態(tài)的字段信息包括標題、日期、正文、圖片、作者、來源、地址；

所述研究專家的字段信息包括姓名、照片、所屬機構、職務、職稱、個人簡歷、研究領域、研究成果；

所述研究成果的字段信息包括標題、日期、作者、所屬機構、成果類型、關鍵詞、摘要、全文。

可選的，進而創(chuàng)建數(shù)據(jù)體之間的關系，包括：研究專家關聯(lián)到智庫機構，智庫動態(tài)關聯(lián)到智庫機構，研究成果關聯(lián)到對應專家，形成完整的關系網(wǎng)絡。

可選的，所述數(shù)據(jù)清洗包括：數(shù)據(jù)分析、定義清洗規(guī)則、執(zhí)行清洗規(guī)則以及清洗結果驗證；

所述數(shù)據(jù)分析通過相關知識，應用統(tǒng)計學，數(shù)據(jù)挖掘的方法，分析出數(shù)據(jù)源中數(shù)據(jù)的特點，為定義數(shù)據(jù)清洗規(guī)則奠定基礎；

所述定義清洗規(guī)則包括空值的檢查和處理，非法值的檢測和處理，不一致數(shù)據(jù)的檢測和處理，相似重復記錄的檢測和處理；

所述執(zhí)行清洗規(guī)則通過檢查拼寫錯誤，去掉重復的記錄，補上不完全的記錄，解決不一致的記錄；