[發明專利]一種面向海量互聯網信息的文本語義建模方法

在審

• 申請號: 201610075760.8
• 申請日: 2016-02-03
• 公開（公告）號: CN107038163A
• 公開（公告）日: 2017-08-11
• 發明（設計）人: 李華康;鐘鑫;楊天楚;楊天若
• 申請（專利權）人: 常州普適信息科技有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.一個原始海量語料庫，存儲從互聯網上抓取的海量文本信息。

2.一個分詞詞庫，用以對中文句子的分詞。

3.一個詞性詞庫，用以對分詞后的詞匯或者短語進行詞性標注。

4.一個句式庫，用以生成詞性路徑，并構建句式庫的自動增補。

5.分句模塊，根據標點對原始語料進行句子分割，為后續的分詞、詞性路徑生成等功能構建基礎的結構分片。

6.分詞模塊，參照分詞詞典對切分后的子句進行分詞，獲得最小分詞單元，并采用詞的鏈接、似然等算法獲得最終的詞匯集合。

7.詞性判斷模塊，參照詞性詞庫，對獲得的分詞集合的每個詞或短語進行詞性標注，對具有多詞性的詞匯進行統計分析，給出詞性概率，克服互聯網文本信息的口語化、多義性所帶來的問題。

8.詞性路徑生成模塊，參照句式庫對每個短句內的詞匯集合的詞性序列進行比對，提取詞性路徑結果，對句式庫內無法匹配到的短句，采用空值替換或者短句窗位移的方法，生成最大覆蓋度和最高精準度的詞性路徑模型。

9.三元組生成模型，按照三元組文本語義基礎模型從詞性路徑模型中分離出特征、觀點和程度詞構建三元組模塊，結合海量數據分析的自反饋模型，實現三元組語義基礎模型的自我修改和增刪功能，同時對三元組進行結構化編碼，對其他上層應用提供簡易接口。