[發明專利]一種基于地震新聞事件的地震數據結構化自動方法

在審

• 申請號: 202010799527.0
• 申請日: 2020-08-11
• 公開（公告）號: CN111950199A
• 公開（公告）日: 2020-11-17
• 發明（設計）人: 俞一奇;邱彥林;陳尚武
• 申請（專利權）人: 杭州敘簡科技股份有限公司
• 主分類號: G06F30/27
• 分類號: G06F30/27;G06F16/951;G06K9/62;G06N3/04
• 代理公司: 北京科億知識產權代理事務所(普通合伙) 11350
• 代理人: 湯東鳳

本發明提供一種基于地震新聞事件的地震數據結構化自動方法，利用網絡爬蟲，對事先設定好的地震相關網站爬取大量的新聞數據；通過BIO標注方式，對采集到的新聞數據標注其中的觸發詞和事件要素；將數據集隨機劃分為訓練數據集和測試數據集；構建地震事件抽取模型，模型采用雙向長短時記憶網絡和條件隨機場組合的方式實現；利用標注好的訓練集訓練地震事件抽取模型。訓練過程中，同時使用測試集數據對模型進行測試，若滿足精度要求，則訓練完成；將訓練好的地震事件抽取模型部署到實際應用中。通過網絡爬蟲爬取地震相關網站，對每一條爬取的內容實時通過地震事件模型進行分析，若符合地震事件類型的則進一步抽取地震事件要素并存入到數據庫中。

技術領域

本發明涉及自然語言處理技術領域，具體涉及一種基于地震新聞事件的地震數據結構化自動方法。

背景技術

地震新聞事件一般是指在某時某地由于發生地震而獲取的相關新聞內容，它通常由許多要素構成，一般包括：發生時間、震中位置、震源深度、震級、受傷人數、死亡人數、直接經濟損失等。全球每年發生的大小地震多達10萬次，僅中國2018年發生3.0級以上的地震數量為542次，而關于這些地震的相關新聞報道更是不計其數。從海量的地震新聞報道中抽取有價值的要素內容并整合結構化，將為后續地震災害分析和預測提供必要的基礎信息。

隨著互聯網信息公開化程度的提升和自然語言處理技術的發展，通過網絡獲取原始地震新聞信息再利用自然語言模型加工處理得到對應結果的方案已成為現實。該方法可實現自動獲取地震相關信息，便于后期檢索、分析；且不需要人為查找、篩選，大大降低了人力成本，具有重要的大數據價值。

發明內容

有鑒于此，本發明提出一種基于地震新聞事件的地震數據結構化自動方法，通過網絡爬蟲不停地爬取地震相關網站的新聞，使用訓練好的地震事件抽取模型處理新聞內容判斷其是否為地震事件，若是則進一步抽取其中的相關要素并存入到數據庫中，以便為后續地震災害分析和預測提供必要的基礎信息。

為實現上述目的，本發明提供如下技術方案：

一種基于地震新聞事件的地震數據結構化自動方法，大致包括以下步驟：

步驟(1)：利用網絡爬蟲，對事先設定好的地震相關網站爬取大量的新聞數據；

步驟(2)：通過BIO標注方式，對采集到的新聞數據標注其中的觸發詞和事件要素；

步驟(3)：將數據集隨機劃分為訓練數據集和測試數據集；

步驟(4)：構建地震事件抽取模型，模型采用雙向長短時記憶網絡(Bi-LSTM)和條件隨機場(CRF)組合的方式實現；

步驟(5)：利用標注好的訓練集訓練地震事件抽取模型。訓練過程中，同時使用測試集數據對模型進行測試，若滿足精度要求，則訓練完成；

步驟(6)：將訓練好的地震事件抽取模型部署到實際應用中。通過網絡爬蟲爬取地震相關網站，對每一條爬取的內容實時通過地震事件模型進行分析，若符合地震事件類型的則進一步抽取地震事件要素并存入到數據庫中。

與現有技術相比，本發明的有益效果為：

本發明可以針對海量的新聞互聯網數據，自動、精準地抽取地震事件及相關事件要素，便于檢索、分析，為后續地震災害分析和預測提供必要的基礎信息；且不需要人為查找、篩選，大大降低了人力成本，具有重要的大數據應用研究價值。

附圖說明

為了更清楚地說明本發明實施例或現有技術中的技術方案，下面將對實施例或現有技術描述中所需要使用的附圖作簡單地介紹，顯而易見地，下面描述中的附圖僅僅是本發明的一些實施例，對于本領域普通技術人員來講，在不付出創造性勞動的前提下，還可以根據這些附圖獲得其他的附圖。