[發明專利]實體詞識別方法及裝置

在審

• 申請號: 201710580718.6
• 申請日: 2017-07-17
• 公開（公告）號: CN107291700A
• 公開（公告）日: 2017-10-24
• 發明（設計）人: 晉彤
• 申請（專利權）人: 廣州特道信息科技有限公司
• 主分類號: G06F17/27
• 分類號: G06F17/27;G06F17/30
• 代理公司: 廣州三環專利商標代理有限公司44202
• 代理人: 梁順宜,郝傳鑫

技術領域

本發明涉及計算機領域，尤其涉及一種實體詞識別方法及裝置。

背景技術

隨著科學技術和互聯網的快速發展，計算機和網絡技術己經深入到人們工作、生活的方方面面。利用計算機來獲取需要的信息也逐漸被人們采用，例如信息檢索查詢、計算機輔助翻譯、自動問答等等。在計算機服務器的數據庫中存儲有一些實體詞，例如產品名稱、型號、公司名稱、品牌名稱等等。如果用戶通過客戶端輸入的語句中包含該數據庫中的實體詞，則可以直接從服務器的數據庫中查找對應的結果，例如對應的翻譯結果、問答結果、檢索結果，然后反饋給客戶端。此種方式，對于已有實體詞對應的結果，服務器可以快速反饋給客戶端，從而可以提高系統的響應速度。另外，此種方式可以保證反饋數據的準確性，保證數據傳輸的有效性，避免用戶通過客戶端不斷的發送檢索、翻譯等請求，從而減少服務器傳輸給客戶端的數據量。

常見的服務器數據庫中的實體詞多通過人工搜集的方式獲取，隨著技術的不斷發展，特別是在某些特殊領域，會不斷產生新的實體詞，采用人工搜集的方式往往無法及時對數據庫中的實體詞進行更新，在用戶通過客戶端向服務器發送檢索、翻譯等請求時，服務器便無法實現快速準確的響應，從而降低了響應速度。當用戶無法得到準確或其期望的結果時，其往往會不斷的發送新的請求，這就增加了服務器負擔，同時增加了服務器的數據傳輸量。另外，通過人工搜集的方式來挖掘新的實體詞需要耗費大量的工作量，增加人力成本。

發明內容

本發明實施例的目的是提供一種實體詞識別方法及裝置，能有效解決現有技術實體詞識別效率低和成本高的問題。

為實現上述目的，本發明實施例提供了一種實體詞識別方法，包括步驟：

收集結構化數據，對所述結構化數據進行初步過濾和精簡后生成若干個領域的語料；

將每一領域的語料進行訓練后生成對應領域的第一實體詞庫；

通過大量文章對每一領域的第一實體詞庫進行驗證生成第二實體詞庫，根據所述第二實體詞庫對實體詞進行識別。

與現有技術相比，本發明公開的實體詞識別方法通過收集結構化數據，對所述結構化數據進行初步過濾和精簡后生成若干個領域的語料；將每一領域的語料進行訓練后生成對應領域的第一實體詞庫；通過大量文章對每一領域的第一實體詞庫進行驗證生成第二實體詞庫，根據所述第二實體詞庫對實體詞進行識別，有效解決了現有技術實體詞識別效率低和成本高的問題，能自動識別實體詞并更新詞庫。

作為上述方案的改進，所述實體詞的類別包括人名、地名、公司和品牌。

作為上述方案的改進，對實體詞識別包括對所述實體詞進行類別、權重和所屬領域的識別。

作為上述方案的改進，根據所述第二實體詞庫對實體詞識別具體為：

根據所述第二實體詞庫，通過線性映射技術對所述實體詞進行識別。

作為上述方案的改進，對所述結構化數據進行初步過濾和精簡后生成若干個領域的語料具體為：

通過大數據ETL技術對所述結構化數據進行初步過濾和精簡后生成若干個領域的語料庫。

作為上述方案的改進，通過大量文章對每一領域的第一實體詞庫進行驗證生成第二實體詞庫具體為：

根據每一領域的第一實體詞庫，通過條件隨機場對大量文章進行實體詞之間的共現率訓練，從而生成第二實體詞庫。

作為上述方案的改進，根據所述第二實體詞庫對實體詞識別后還包括步驟：

將進行識別后的實體詞通過詞性語義引擎進行二次校驗。

本發明實施例還提供了一種實體詞識別裝置，包括：

收集模塊，用于收集結構化數據，對所述結構化數據進行初步過濾和精簡后生成若干個領域的語料；

第一實體詞庫生成模塊，用于對每一領域的語料進行訓練后生成對應領域的第一實體詞庫；

識別模塊，用于通過大量文章對每一領域的第一實體詞庫進行驗證生成第二實體詞庫，根據所述第二實體詞庫對實體詞進行識別。

與現有技術相比，本發明公開的實體詞識別裝置通過收集模塊收集結構化數據，對所述結構化數據進行初步過濾和精簡后生成若干個領域的語料，再通過第一實體詞庫生成模塊將每一領域的語料進行訓練后生成對應領域的第一實體詞庫，然后通過第二實體詞庫生成模塊根據大量文章對每一領域的第一實體詞庫進行驗證生成第二實體詞庫，根據所述第二實體詞庫對實體詞進行識別，有效解決了現有技術實體詞識別效率低和成本高的問題，能自動識別實體詞并更新詞庫。

作為上述方案的改進，所述實體詞的類別包括人名、地名、公司和品牌。