[發(fā)明專利]基于金融異構(gòu)大數(shù)據(jù)的信息采集系統(tǒng)及其控制方法

有效

• 申請(qǐng)?zhí)枺?/td>: 201810201458.1
• 申請(qǐng)日: 2018-03-12
• 公開（公告）號(hào): CN108416034B
• 公開（公告）日: 2021-11-16
• 發(fā)明（設(shè)計(jì)）人: 孫善輝
• 申請(qǐng)（專利權(quán)）人: 宿州學(xué)院
• 主分類號(hào): G06F16/951
• 分類號(hào): G06F16/951;G06F16/955;G06F16/958
• 代理公司: 合肥維可專利代理事務(wù)所(普通合伙) 34135
• 代理人: 吳明華

本發(fā)明公開了一種基于金融異構(gòu)大數(shù)據(jù)的信息采集系統(tǒng)及其控制方法，包括互聯(lián)網(wǎng)信息源、Linux后臺(tái)服務(wù)端系統(tǒng)、Web客戶端程序系統(tǒng)和客戶終端，所述互聯(lián)網(wǎng)信息源、Linux后臺(tái)服務(wù)端系統(tǒng)、Web客戶端程序系統(tǒng)、客戶終端依次相連，所述Linux后臺(tái)服務(wù)端系統(tǒng)包括異構(gòu)信息收集及預(yù)處理模塊、抽取規(guī)則生成模塊、信息抽取評(píng)估模塊，所述異構(gòu)信息收集及預(yù)處理模塊包括爬蟲URL解析器、PDF解析器、搜索引擎檢索器、HTML解析器、數(shù)據(jù)存儲(chǔ)器。本發(fā)明能夠?qū)崟r(shí)采取金融產(chǎn)品的異構(gòu)文檔并從中提取出用戶感興趣的數(shù)據(jù)，確保了所提供金融數(shù)據(jù)的實(shí)效性，解決了傳統(tǒng)金融領(lǐng)域異構(gòu)信息收集不便的問題。

技術(shù)領(lǐng)域

本發(fā)明涉及信息采集系統(tǒng)技術(shù)領(lǐng)域，尤其涉及一種基于金融異構(gòu)大數(shù)據(jù)的信息采集系統(tǒng)。

背景技術(shù)

隨著信息技術(shù)的發(fā)展，在互聯(lián)網(wǎng)上進(jìn)行金融的行為越來越多。金融領(lǐng)域每時(shí)每刻都有大量的信息通過互聯(lián)網(wǎng)公布，由于網(wǎng)絡(luò)本身所具有的信息梁龐大、信息來源不固定、文本化表述特征明顯，且目前互聯(lián)網(wǎng)上的金融信息在發(fā)布時(shí)仍是以半結(jié)構(gòu)化的形式為主。而相比結(jié)構(gòu)化的數(shù)據(jù)，這些異構(gòu)信息雖然易于發(fā)布和收集，但噪聲度高、信息冗余量大、不便于閱讀和理解，因此有效的信息提取變得至關(guān)重要。

發(fā)明內(nèi)容

本發(fā)明的目的是為了解決現(xiàn)有金融領(lǐng)域信息采集噪聲度高、信息冗余量大、不便于閱讀和理解的問題，而提出的一種基于金融異構(gòu)大數(shù)據(jù)的信息采集系統(tǒng)及其控制方法。

為了實(shí)現(xiàn)上述目的，本發(fā)明采用了如下技術(shù)方案：

一種基于金融異構(gòu)大數(shù)據(jù)的信息采集系統(tǒng)，包括互聯(lián)網(wǎng)信息源、Linux后臺(tái)服務(wù)端系統(tǒng)、Web客戶端程序系統(tǒng)和客戶終端，其特征在于，所述互聯(lián)網(wǎng)信息源、Linux后臺(tái)服務(wù)端系統(tǒng)、Web客戶端程序系統(tǒng)、客戶終端依次相連，所述Linux后臺(tái)服務(wù)端系統(tǒng)包括異構(gòu)信息收集及預(yù)處理模塊、抽取規(guī)則生成模塊、信息抽取評(píng)估模塊，所述異構(gòu)信息收集及預(yù)處理模塊、抽取規(guī)則生成模塊、信息抽取評(píng)估模塊依次相連，所述異構(gòu)信息收集及預(yù)處理模塊包括爬蟲URL解析器、PDF解析器、搜索引擎檢索器、HTML解析器、數(shù)據(jù)存儲(chǔ)器，所述爬蟲URL解析器、PDF解析器、搜索引擎檢索器、HTML解析器、數(shù)據(jù)存儲(chǔ)器依次相連，所述抽取規(guī)則生成模塊包括規(guī)則歸類單元、規(guī)則合成單元，所述規(guī)則歸類單元和規(guī)則合成單元相連，所述規(guī)則合成單元包括匹配器、比較器、泛化器，所述匹配器、判斷器、泛化器依次相連，所述信息抽取評(píng)估模塊包括第一數(shù)據(jù)庫、第二數(shù)據(jù)庫、第一數(shù)據(jù)比較器，所述第一數(shù)據(jù)庫和第二數(shù)據(jù)庫均與第一數(shù)據(jù)比較器相連。

優(yōu)選地，所述爬蟲URL解析器包括控制器模塊、解析模塊、資源庫模塊，所述解析模塊包括網(wǎng)頁抓取單元、網(wǎng)頁信息特征提取單元、網(wǎng)頁信息分類建模單元、數(shù)據(jù)儲(chǔ)存單元、計(jì)算機(jī)分析單元和計(jì)算機(jī)顯示單元，所述網(wǎng)頁抓取單元、網(wǎng)頁信息特征提取單元、網(wǎng)頁信息分類建模單元依次相連，所述網(wǎng)頁信息分類建模單元和數(shù)據(jù)儲(chǔ)存單元均與計(jì)算機(jī)分析單元相連，所述計(jì)算機(jī)分析單元與計(jì)算機(jī)顯示單元相連；所述計(jì)算機(jī)分析單元包括數(shù)據(jù)提取器、數(shù)據(jù)接收器和第二數(shù)據(jù)比較器。

優(yōu)選地，所述泛化器采用基于啟發(fā)式函數(shù)的規(guī)則泛化方法，且采用Laplacian誤差估計(jì)作為啟發(fā)函數(shù)。

優(yōu)選地，所述第一數(shù)據(jù)庫包括準(zhǔn)確率、召回率、F-measure三個(gè)參數(shù)，所述第二數(shù)據(jù)庫存儲(chǔ)有三個(gè)預(yù)先設(shè)置的且分別與準(zhǔn)確率、召回率、F-measure對(duì)應(yīng)的基準(zhǔn)值。

優(yōu)選地，按以下步驟進(jìn)行操作：

第一步：首先，系統(tǒng)在互聯(lián)網(wǎng)信息源上使用爬蟲URL解析器搜索最新發(fā)布的金融產(chǎn)品，當(dāng)遇到無法處理的PDF文檔時(shí)，爬蟲URL解析器通過搜索引擎檢索器檢索Web頁面進(jìn)行替代，異構(gòu)信息采集與預(yù)處理模塊中設(shè)計(jì)了PDF文檔和Web信息的解析器，負(fù)責(zé)對(duì)異構(gòu)文檔進(jìn)行解析并從中提取出文本信息，轉(zhuǎn)存為后續(xù)處理數(shù)據(jù)。

第二步：其次，在抽取規(guī)則生成模塊中，系統(tǒng)從標(biāo)注過的訓(xùn)練樣本中生成規(guī)則集合，規(guī)則集合通過聚類和合成，將結(jié)果導(dǎo)入最終的規(guī)則庫。