[發明專利]基于網絡爬蟲和語義識別的山洪災害數據庫構建及更新的方法

有效

• 申請號: 201910622585.3
• 申請日: 2019-07-11
• 公開（公告）號: CN110377680B
• 公開（公告）日: 2020-04-28
• 發明（設計）人: 劉榮華;郭良;田濟揚;李照會;張帆;王開;張曉蕾;劉啟;翟曉燕
• 申請（專利權）人: 中國水利水電科學研究院
• 主分類號: G06F16/29
• 分類號: G06F16/29;G06F16/45;G06F16/81;G06F16/951;G06F40/30;G06K9/00
• 代理公司: 北京國林貿知識產權代理有限公司 11001
• 代理人: 李瑾;李連生

本發明涉及一種基于網絡爬蟲和語義識別的山洪災害數據庫構建及更新的方法，采用了網絡爬蟲技術和語義分析法，抓取信息網頁和提取山洪災害的關鍵信息，并將提取的信息打包成標準關聯信息存儲到山洪災害數據庫中，對其進行實時更新補充。該方法充分利用網絡信息資源，對站點山洪信息進行補充校對，更加全面精準地描述和分析洪水事件的發生與發展過程，解決了目前山洪災害網絡數據資源數量多、種類多、來源多，難以準確高效提取有用數據信息的技術難題，為山洪災害數據庫的快速構建及更新提供一種有用的方法。

技術領域

本發明屬于山洪信息采集處理技術領域及利用計算機軟件對網絡信息進行采集處理的信息技術領域，尤其涉及一種基于網絡爬蟲和語義識別的山洪災害數據庫構建及更新的方法，主要用于山洪災害信息提取及山洪災害信息補充更新等工作。

背景技術

近些年來隨著網絡的迅速發展，互聯網成為大量信息的載體，從互聯網中搜尋所需要的數據，成為新興的熱門研究領域。預計到2020年，全球數據總量可以超過4萬億GB。利用數據分析等技術手段，探尋數據中隱藏的關系規律，是當前各行各業都常用的方法。然而，網絡中的海量信息，涵蓋政治、娛樂、傳媒、工業、商業、學校、人文等多個領域、各個方面，且信息以多種格式存在，呈現出碎片化、非結構化的特征，信息網絡上新聞及自媒體等信息時刻都在呈爆炸式增長，如何有效地提取并利用這些信息是一個巨大的挑戰。目前人們通過搜索引擎獲得有效數據的方法效率低下，難以準確快速的找到自己所需的信息。數據挖掘是大數據時代最基礎的部分，通過數據挖掘的方法高效查找有用的信息是當前亟待解決的問題。

山洪多發于無資料地區，山洪災害基本數據信息缺失、不完善極大地影響了山洪災害分析，削弱了防災治災的能力。利用提取互聯網中的有效山洪災害數據信息，并將其與水文站、雨量站災害信息結合起來，聯合描述一場山洪災害的詳細情況，有助于相關人員及時準確判斷洪水災害輿情，正確作出應對措施。

發明內容

本發明設計了一種基于網絡爬蟲和語義識別的山洪災害數據庫構建及更新的方法，其解決的技術問題是針對無資料地區山洪信息缺失難題，運用網絡爬蟲技術定向爬取網頁山洪災害信息，結合語義分析及數據解析等技術將爬取信息分類儲存，實現了山洪災害數據的實時自動提取及更新。

為了解決上述存在的技術問題，本發明采用了以下方案：

一種基于網絡爬蟲和語義識別的山洪災害數據庫構建及更新的方法，包括以下步驟：

(1)運用網絡爬蟲技術實時抓取山洪災害相關網頁信息：利用網絡聚焦爬蟲對網頁中文檔、圖片、視頻資源進行定向抓取；

(2)基于語義分析方法，提取相關的山洪災害關鍵語義信息，并參照山洪災害關鍵語義信息對網頁信息進行分類標記儲存，所述山洪災害關鍵語義信息包括：發生位置、發生時間、所在行政區、發生范圍、災害量級、災害損失；

(3)構建數據庫查重系統判斷提取的山洪災害信息在數據庫中是否建立，對已建立或未建立的數據庫信息進行以下不同操作：

A、對于新信息，則根據災害事件發生位置、發生時間、所在行政區，關聯流域水雨情數據庫，將流域水雨情信息及網頁提取的災害場次信息打包成標準關聯信息文件格式，新建數據包并儲存到山洪災害數據庫；所述新信息是指該場次災害的任何數據均未在山洪災害數據庫中儲存；

B、對于已有信息，將新提取的網頁信息打包成標準關聯信息文件格式，更新補充該場次數據包信息，并儲存到山洪災害數據庫；所述已有信息是指該場次災害已經有其他數據在山洪災害數據庫中儲存。