[發(fā)明專利]基于金融異構(gòu)大數(shù)據(jù)的信息采集系統(tǒng)及其控制方法

有效

• 申請?zhí)枺?/td>: 201810201458.1
• 申請日: 2018-03-12
• 公開（公告）號: CN108416034B
• 公開（公告）日: 2021-11-16
• 發(fā)明（設(shè)計）人: 孫善輝
• 申請（專利權(quán)）人: 宿州學(xué)院
• 主分類號: G06F16/951
• 分類號: G06F16/951;G06F16/955;G06F16/958
• 代理公司: 合肥維可專利代理事務(wù)所(普通合伙) 34135
• 代理人: 吳明華

1.基于金融異構(gòu)大數(shù)據(jù)的信息采集系統(tǒng)，包括互聯(lián)網(wǎng)信息源、Linux后臺服務(wù)端系統(tǒng)、Web客戶端程序系統(tǒng)和客戶終端，其特征在于，所述互聯(lián)網(wǎng)信息源、Linux后臺服務(wù)端系統(tǒng)、Web客戶端程序系統(tǒng)、客戶終端依次相連，所述Linux后臺服務(wù)端系統(tǒng)包括異構(gòu)信息收集及預(yù)處理模塊、抽取規(guī)則生成模塊、信息抽取評估模塊，所述異構(gòu)信息收集及預(yù)處理模塊、抽取規(guī)則生成模塊、信息抽取評估模塊依次相連，所述異構(gòu)信息收集及預(yù)處理模塊包括爬蟲URL解析器、PDF解析器、搜索引擎檢索器、HTML解析器、數(shù)據(jù)存儲器，所述爬蟲URL解析器、PDF解析器、搜索引擎檢索器、HTML解析器、數(shù)據(jù)存儲器依次相連，所述抽取規(guī)則生成模塊包括規(guī)則歸類單元、規(guī)則合成單元，所述規(guī)則歸類單元和規(guī)則合成單元相連，所述規(guī)則合成單元包括匹配器、比較器、泛化器，所述匹配器、判斷器、泛化器依次相連，所述信息抽取評估模塊包括第一數(shù)據(jù)庫、第二數(shù)據(jù)庫、第一數(shù)據(jù)比較器，所述第一數(shù)據(jù)庫和第二數(shù)據(jù)庫均與第一數(shù)據(jù)比較器相連，

所述爬蟲URL解析器用于從互聯(lián)網(wǎng)信息源搜索最新發(fā)布的金融公告信息，并解析成PDF文檔形式，或通過搜索引擎檢索器處理成網(wǎng)頁數(shù)據(jù)；

所述PDF解析器用于將PDF文檔處理成可處理形式的純文本數(shù)據(jù)；

所述HTML解析器用于將網(wǎng)頁數(shù)據(jù)解析成純文本數(shù)據(jù)；

所述規(guī)則歸類單元用于將不同文檔內(nèi)針對同一目標(biāo)實體的規(guī)則進行歸類，進而得到同一目標(biāo)的規(guī)則子集合；

所述匹配器用于將規(guī)則子集合匹配到訓(xùn)練樣本上；

所述判斷器用于判斷是否還有訓(xùn)練集，無訓(xùn)練集時系統(tǒng)會完成規(guī)則子集合的規(guī)則生成，并最終形成規(guī)則庫，有訓(xùn)練集時系統(tǒng)會重復(fù)規(guī)則子集合在訓(xùn)練樣本上的匹配；

所述泛化器用于對現(xiàn)有規(guī)則進行泛化。

2.根據(jù)權(quán)利要求1所述的基于金融異構(gòu)大數(shù)據(jù)的信息采集系統(tǒng)，其特征在于，所述爬蟲URL解析器包括控制器模塊、解析模塊、資源庫模塊，所述解析模塊包括網(wǎng)頁抓取單元、網(wǎng)頁信息特征提取單元、網(wǎng)頁信息分類建模單元、數(shù)據(jù)儲存單元、計算機分析單元和計算機顯示單元，所述網(wǎng)頁抓取單元、網(wǎng)頁信息特征提取單元、網(wǎng)頁信息分類建模單元依次相連，所述網(wǎng)頁信息分類建模單元和數(shù)據(jù)儲存單元均與計算機分析單元相連，所述計算機分析單元與計算機顯示單元相連；所述計算機分析單元包括數(shù)據(jù)提取器、數(shù)據(jù)接收器和第二數(shù)據(jù)比較器。

3.根據(jù)權(quán)利要求1所述的基于金融異構(gòu)大數(shù)據(jù)的信息采集系統(tǒng)，其特征在于，所述泛化器采用基于啟發(fā)式函數(shù)的規(guī)則泛化方法，且采用Laplacian誤差估計作為啟發(fā)函數(shù)。

4.根據(jù)權(quán)利要求1所述的基于金融異構(gòu)大數(shù)據(jù)的信息采集系統(tǒng)，其特征在于，所述第一數(shù)據(jù)庫包括準(zhǔn)確率、召回率、F-measure三個參數(shù)，所述第二數(shù)據(jù)庫存儲有三個預(yù)先設(shè)置的且分別與準(zhǔn)確率、召回率、F-measure對應(yīng)的基準(zhǔn)值。

5.根據(jù)權(quán)利要求1所述的基于金融異構(gòu)大數(shù)據(jù)的信息采集系統(tǒng)的控制方法，其特征在于，按以下步驟進行操作：

第一步：首先，系統(tǒng)在互聯(lián)網(wǎng)信息源上使用爬蟲URL解析器搜索最新發(fā)布的金融產(chǎn)品，當(dāng)遇到無法處理的PDF文檔時，爬蟲URL解析器通過搜索引擎檢索器檢索Web頁面進行替代，異構(gòu)信息采集與預(yù)處理模塊中設(shè)計了PDF文檔和Web信息的解析器，負(fù)責(zé)對異構(gòu)文檔進行解析并從中提取出文本信息，轉(zhuǎn)存為后續(xù)處理數(shù)據(jù)；

第二步：其次，在抽取規(guī)則生成模塊中，系統(tǒng)從標(biāo)注過的訓(xùn)練樣本中生成規(guī)則集合，規(guī)則集合通過聚類和合成，將結(jié)果導(dǎo)入最終的規(guī)則庫；

第三步：最后，系統(tǒng)通過信息抽取評估模塊應(yīng)用規(guī)則庫在未知數(shù)據(jù)上進行信息抽取，系統(tǒng)處于迭代運行狀態(tài)，異構(gòu)信息收集和預(yù)處理模塊不斷向后續(xù)模塊提供文本信息，當(dāng)某次抽取任務(wù)無法滿足預(yù)置要求時，文檔會被記錄下，并預(yù)備進入下一個異構(gòu)信息處理過程。