[發明專利]基于BP神經網絡數據挖掘的自動化數字采集與整合方法

在審

• 申請號: 202210073613.2
• 申請日: 2022-01-21
• 公開（公告）號: CN114417181A
• 公開（公告）日: 2022-04-29
• 發明（設計）人: 蔣成信;彭曦;張宇航;張熙;李厚錦;陳年強;梁閩;戴國柱;郭峻杰;謝嘉;彭莉莉;孫堅
• 申請（專利權）人: 長沙軍民先進技術研究有限公司
• 主分類號: G06F16/9536
• 分類號: G06F16/9536;G06F16/951;G06F16/955;G06N3/04;G06N3/08
• 代理公司: 長沙市護航專利代理事務所(特殊普通合伙) 43220
• 代理人: 莫曉齊

本發明公開了基于BP神經網絡數據挖掘的自動化數字采集與整合方法，包括獲取采集任務要求信息，采用基于內容推薦算法從預設URL庫中匹配滿足預設要求的數據源；根據數據源的屬性選擇信息采集方式進行網頁內容信息提取；對提取到的網頁內容信息進行鏈接抓取和采集任務子類劃分，生成子類采集請求任務；將子類采集請求任務中的采集請求任務進行隊列分配并進行流水線管理，遵循廣度優先遍歷循環完成網頁抓取任務直到滿足預設爬蟲結束任務條件，得到抓取到的網絡數據；對抓取到的網絡數據進行抽取分析得到更新后的網絡數據，根據采集任務要求信息和更新后的網絡數據基于預設的BP神經網絡進行網絡數據挖掘，對挖掘后的數據進行整合并存儲。有效提高數據采集效率。

技術領域

本發明屬于計算機技術領域，特別是涉及一種基于BP神經網絡數據挖掘的自動化數字采集與整合方法。

背景技術

今時今日，隨著互聯網信息的爆炸式增長，網絡上每時每刻都在產生大量的數據，而數據在計算機技術領域具有至關重要的意義，是指所有能輸入計算機并被計算機程序處理的符號的介質的總稱，是計算機存儲和處理的對象，是為用戶提供服務的基礎。如何在浩如煙海的數據中選擇、存儲并利用我們需要的信息，已經成為現代計算機數據工程非常重要的一部分。數據采集系統根據用戶提供的任務主題，為用戶推薦可靠的數據源，并將數據從互聯網采集整理并存儲于本地，為進一步利用創造條件。

因為數據源的多樣性，需要的信息所處的源網址可能擁有不同的反爬蟲規則和差異巨大的網頁結構，如果按照傳統的數據采集方式，想要得到結構化程度較高的數據，可能需要重新選擇合適的爬蟲，并且由具有一定網頁相關知識的專業人士進行結構分析并重構代碼，使得程序的可適應性變得很差，導致數據采集效率低。

發明內容

針對以上技術問題，本發明提供一種使數據采集過程更加高效和靈活的基于BP神經網絡數據挖掘的自動化數字采集與整合方法。

本發明解決其技術問題采用的技術方案是：

基于BP神經網絡數據挖掘的自動化數字采集與整合方法，包括以下步驟：

步驟S100：獲取采集任務要求信息，根據采集任務要求信息采用基于內容推薦算法從預設URL庫中匹配滿足預設要求的數據源；

步驟S200:根據數據源的屬性選擇信息采集方式并進行網頁內容信息提取；

步驟S300:對提取到的網頁內容信息進行鏈接抓取和采集任務子類劃分，生成子類采集請求任務；

步驟S400:將子類采集請求任務中的采集請求任務進行隊列分配并進行流水線管理，遵循廣度優先遍歷循環完成網頁抓取任務直到滿足預設爬蟲結束任務條件，得到抓取到的網絡數據；

步驟S600：對抓取到的網絡數據進行抽取分析得到更新后的網絡數據，根據采集任務要求信息和更新后的網絡數據基于預設的BP神經網絡進行網絡數據挖掘，對挖掘后的數據進行整合并存儲。

優選地，步驟S100包括：

步驟S110：根據采集任務要求信息采用基于內容推薦算法從預設URL庫對應的網頁中采集信息數據；

步驟S120：對采集到的信息數據進行預處理，抽取得到有效信息；

步驟S130：從有效信息中抽取預設的關鍵詞作為標簽，對標簽按照預設的采集步驟采集候選標簽，按照預設的抽取原則對候選標簽進行標簽抽取，得到標簽集；

步驟S140：根據內容的協同過濾算法，循環計算采集任務要求信息與標簽集的內容相關性；

步驟S150：根據內容相關性和預設的內容相關性閾值匹配滿足要求的數據源。

優選地，步驟S150包括：