[發明專利]一種用于非結構化文本的短語提取方法及裝置

在審

• 申請號: 201910365420.2
• 申請日: 2019-04-30
• 公開（公告）號: CN111950271A
• 公開（公告）日: 2020-11-17
• 發明（設計）人: 周林
• 申請（專利權）人: 廣東小天才科技有限公司
• 主分類號: G06F40/289
• 分類號: G06F40/289;G06F40/253
• 代理公司: 上海碩力知識產權代理事務所(普通合伙) 31251
• 代理人: 郭桂峰

1.一種用于非結構化文本的短語提取方法，其特征在于，包括：

生成每種短語類型的短語提取規則；

獲取非結構化文本；

根據所述短語提取規則，從所述非結構化文本中提取出短語。

2.根據權利要求1所述的一種用于非結構化文本的短語提取方法，其特征在于，所述生成每種短語類型的短語提取規則具體包括：

建立短語類型庫，所述短語類型庫包括多種短語類型；

獲取每種短語類型的訓練樣本集，所述訓練樣本集包括訓練文本及提取出的短語；

根據每種短語類型的訓練樣本集，生成每種短語類型對應的短語提取規則。

3.根據權利要求2所述的一種用于非結構化文本的短語提取方法，其特征在于，所述根據每種短語類型的訓練樣本集，生成每種短語類型對應的短語提取規則具體包括：

對訓練樣本集中的每個訓練文本進行分詞，得到每個訓練文本對應的各個詞語、詞語的詞性，以及詞語的位置序列；

根據每個訓練文本提取出的短語，分析得到每種短語類型對應的短語提取特征，其中，所述短語提取特征包括詞性組合特征以及詞語位置特征；

利用機器學習方法，根據所得到的所述提取特征，生成每種短語類型對應的短語提取規則。

4.根據權利要求1-3任一項所述的一種用于非結構化文本的短語提取方法，其特征在于，還包括：

獲取基礎詞語；

所述根據所述短語提取規則，從所述非結構化文本中提取出短語具體包括：

根據所述短語提取規則和所述基礎詞語，從所述非結構化文本中提取出包含所述基礎詞語的短語。

5.根據權利要求4所述的一種用于非結構化文本的短語提取方法，其特征在于，所述根據所述短語提取規則和所述基礎詞語，從所述非結構化文本中提取出包含所述基礎詞語的短語具體包括：

在所述非結構化文本中找到所述基礎詞語；

以所述基礎詞語為基礎，根據所述短語提取規則及所述基礎詞語的詞性，從所述非結構化文本中找到符合提取特征的目標詞語；

組合所述基礎詞語和所述目標詞語，得到包含所述基礎詞語的短語。

6.一種用于非結構化文本的短語提取裝置，其特征在于，包括：

規則生成模塊，用于生成每種短語類型的短語提取規則；

文本獲取模塊，用于獲取非結構化文本；

短語提取模塊，用于根據所述短語提取規則，從所述非結構化文本中提取出短語。

7.根據權利要求6所述的一種用于非結構化文本的短語提取裝置，其特征在于，所述規則生成模塊包括：

短語庫建立單元，用于建立短語類型庫，所述短語類型庫包括多種短語類型；

樣本集獲取單元，用于獲取每種短語類型的訓練樣本集，所述訓練樣本集包括訓練文本及提取出的短語；

規則生成單元，用于根據每種短語類型的訓練樣本集，生成每種短語類型對應的短語提取規則。

8.根據權利要求7所述的一種用于非結構化文本的短語提取裝置，其特征在于，所述規則生成單元包括：

分詞子單元，用于對訓練樣本集中的每個訓練文本進行分詞，得到每個訓練文本對應的各個詞語、詞語的詞性，以及詞語的位置序列；

特征分析子單元，用于根據每個訓練文本提取出的短語，分析得到每種短語類型對應的短語提取特征，其中，所述短語提取特征包括詞性組合特征以及詞語位置特征；

規則生成子單元，用于利用機器學習方法，根據所得到的所述提取特征，生成每種短語類型對應的短語提取規則。

9.根據權利要求6-8任一項所述的一種用于非結構化文本的短語提取裝置，其特征在于，還包括：

詞語獲取模塊，用于獲取基礎詞語；

所述短語提取模塊，還用于根據所述短語提取規則和所述基礎詞語，從所述非結構化文本中提取出包含所述基礎詞語的短語。

10.根據權利要求9所述的一種用于非結構化文本的短語提取裝置，其特征在于，所述短語提取模塊包括：

基礎詞語查找單元，用于在所述非結構化文本中找到所述基礎詞語；

目標詞語查找單元，用于以所述基礎詞語為基礎，根據所述短語提取規則及所述基礎詞語的詞性，從所述非結構化文本中找到符合提取特征的目標詞語；

詞語組合單元，用于組合所述基礎詞語和所述目標詞語，得到包含所述基礎詞語的短語。