[發明專利]詞庫生成方法和裝置

在審

• 申請號: 201710668364.0
• 申請日: 2017-08-08
• 公開（公告）號: CN109388689A
• 公開（公告）日: 2019-02-26
• 發明（設計）人: 路緒海;楊迪;馬怡安;龔靖;任華;王錚;黃挺
• 申請（專利權）人: 中國電信股份有限公司
• 主分類號: G06F16/332
• 分類號: G06F16/332;G06F16/9535;G06F17/27
• 代理公司: 中國國際貿易促進委員會專利商標事務所 11038
• 代理人: 曹蓓

本申請提出一種詞庫生成方法和裝置，涉及人工智能技術領域。本發明的一種詞庫生成方法，包括：步驟i)：根據開源詞庫確定基本詞匯庫；步驟ii)：根據基本詞匯庫，基于詞頻統計的分詞方法處理部分語料文本，獲取更新詞匯；步驟iii)：以預定策略利用更新詞匯更新基本詞匯庫；循環執行步驟ii)、iii)，直至完成全部語料文本的處理；根據更新后的基本詞匯庫建立詞庫。通過這樣的方法，能夠基于已有的開源詞庫，通過處理語料文本的方式對詞庫進行更新，再用更新后的詞庫去處理語料文本，循環該過程，能夠基于具有時效性的語料文本更新詞庫，從而使詞庫能夠不斷的更新和豐富，在無需依賴輸入法的情況下得到最新詞庫。

技術領域

本申請涉及人工智能技術領域，特別是一種詞庫生成方法和裝置。

背景技術

在人工智能技術的發展中，詞庫是決定人工智能水平的重要基礎，也是各大公司的核心競爭力之一。傳統的詞庫建立方法一般依賴于輸入法，通過統計用戶輸入的內容來進行數據更新。但是，具有輸入法的企業一般不會開源其最新詞庫。用戶無法使用，或是需要支付高昂的費用才能夠使用最新詞庫，這大大提高了人工智能技術發展的成本。而目前可用的開源詞庫版本較老，詞匯的覆蓋廣度有限，因此，很有必要形成一種脫離輸入法的獲取最新詞庫的方案。

發明內容

本申請的一個目的在于提出一種脫離輸入法的詞庫生成方案。

根據本申請的一個方面，提出一種詞庫生成方法，包括：

步驟i)：根據開源詞庫確定基本詞匯庫；

步驟ii)：根據基本詞匯庫，基于詞頻統計的分詞方法處理部分語料文本，獲取更新詞匯；

步驟iii)：以預定策略利用更新詞匯更新基本詞匯庫；

循環執行步驟ii)、iii)，直至完成全部語料文本的處理；

根據更新后的基本詞匯庫建立詞庫。

可選地，以預定策略利用更新詞匯更新基本詞匯庫包括：每完成一篇文本的處理后，利用處理該文本產生的更新詞匯更新基本詞匯庫。

可選地，語料文本為利用網頁爬蟲獲取的互聯網網頁文本。

可選地，還包括：生成基本詞匯庫中詞匯的詞向量。

可選地，還包括：基于迭代算法優化詞向量以使詞向量體現詞匯的相互關系。

可選地，根據更新后的基本詞匯庫建立詞庫包括：將基本詞匯庫中的各個更新詞匯出現的頻率和/或次數與預定閾值相比較，若頻率和/或次數低于閾值，則刪除該更新詞匯及該更新詞匯的詞向量；生成詞庫，詞庫中包括基本詞匯庫中的詞匯和詞匯的詞向量。

通過這樣的方法，能夠基于已有的開源詞庫，通過處理語料文本的方式對詞庫進行更新，再用更新后的詞庫去處理語料文本，循環該過程，能夠基于具有時效性的語料文本更新詞庫，從而使詞庫能夠不斷的更新和豐富，在無需依賴輸入法的情況下得到最新詞庫。

根據本申請的另一個方面，提出一種詞庫生成裝置，包括：基本詞匯庫確定單元，用于根據開源詞庫確定基本詞匯庫；更新詞匯獲取單元，用于根據基本詞匯庫，基于詞頻統計的分詞方法處理部分語料文本，獲取更新詞匯；基本詞匯庫更新單元，用于以預定策略利用更新詞匯更新基本詞匯庫，繼而調用更新詞匯獲取單元，直至完成全部語料文本的處理；詞庫建立單元，用于根據更新后的基本詞匯庫建立詞庫。

可選地，基本詞匯庫更新單元用于在每完成一篇文本的處理后，利用處理該文本產生的更新詞匯更新基本詞匯庫。

可選地，詞庫生成裝置還包括：語料文本獲取單元，用于利用網頁爬蟲獲取互聯網網頁文本作為語料文本。

可選地，還包括：詞向量生成單元，用于生成基本詞匯庫中詞匯的詞向量。