[發明專利]一種基于中文字符詞性特征的目標實體識別方法及裝置

有效

• 申請號: 201810431801.1
• 申請日: 2018-05-08
• 公開（公告）號: CN108959242B
• 公開（公告）日: 2021-07-27
• 發明（設計）人: 李全剛;柳廳文;李彥增;王學賓;亞靜;李柢穎;時金橋
• 申請（專利權）人: 中國科學院信息工程研究所
• 主分類號: G06F40/295
• 分類號: G06F40/295;G06K9/62
• 代理公司: 北京君尚知識產權代理有限公司 11200
• 代理人: 邱曉鋒

1.一種基于中文字符詞性特征的目標實體識別方法，其特征在于，包括以下步驟：

1)在訓練文本中標記目標實體，并對訓練文本進行分詞及詞性標注；

2)將訓練文本拆分為字符，各個字符構成字符序列，每個字符保留拆分之前的詞性；

3)標注每個字符在分詞中的位置，將字符的詞性與字符在分詞中的位置進行拼接作為字符詞性，各個字符的字符詞性構成字符詞性序列；

4)將步驟1)對目標實體的標記映射至目標實體中的各個字符上，得到字符標注序列；

5)將字符序列與字符詞性序列作為特征，將字符標注序列作為訓練目標值，輸入機器學習模型中進行訓練；所述機器學習模型為BiLSTM+CRF模型，其中BiLSTM層接收字符序列、字符詞性序列兩個輸入序列；

6)將待識別文本的字符序列與字符詞性序列輸入訓練好的機器學習模型，得到待識別文本的字符標注序列，通過將字符標注序列拼接并還原得到目標實體識別結果。

2.根據權利要求1所述的方法，其特征在于，所述字符序列、所述字符詞性序列、所述字符標注序列為三個相互對齊的特征序列。

3.根據權利要求1所述的方法，其特征在于，步驟3)所述標注每個字符在分詞中的位置，是將第一個字符標記為B，中間字符標記為M，最后一個字符標記為E，單獨作為一個詞的字符標記為S。

4.根據權利要求1所述的方法，其特征在于，步驟4)將不在目標實體內的字符用O或其它記號標記為空值。

5.根據權利要求1所述的方法，其特征在于，步驟5)包括：

5.1)將字符序列、字符詞性序列、字符標注序列通過詞典的方式進行編號，得到用于訓練模型的特征向量與目標向量；

5.2)將大量的特征向量與目標向量傳入BiLSTM+CRF模型中，通過參數調優得到所需的機器學習模型，該機器學習模型以字符向量、字符詞性向量作為輸入值，輸出字符標注向量。

6.一種采用權利要求1所述方法的基于中文字符詞性特征的目標實體識別裝置，其特征在于，包括以下步驟：

模型訓練模塊，負責根據訓練文本得到字符序列、字符詞性序列和字符標注序列，將字符序列與字符詞性序列作為特征，將字符標注序列作為訓練目標值，輸入機器學習模型中進行訓練；

目標實體識別模塊，負責將待識別文本的字符序列與字符詞性序列輸入訓練好的機器學習模型，得到待識別文本的字符標注序列，通過將字符標注序列拼接并還原得到目標實體識別結果。

7.根據權利要求6所述的裝置，其特征在于，所述模型訓練模塊包括：

目標實體標記子模塊，負責在訓練文本中標記目標實體；

分詞及詞性標注子模塊，負責對訓練文本進行分詞及詞性標注；

字符拆分子模塊，負責將訓練文本拆分為字符，各個字符構成字符序列，每個字符保留拆分之前的詞性；

字符詞性序列構建子模塊，負責標注每個字符在分詞中的位置，將字符的詞性與字符在分詞中的位置進行拼接作為字符詞性，各個字符的字符詞性構成字符詞性序列；

字符標注序列構建子模塊，負責將對目標實體的標記映射至目標實體中的各個字符上，得到字符標注序列；

模型訓練子模塊，負責將字符序列與字符詞性序列作為特征，將字符標注序列作為訓練目標值，輸入機器學習模型中進行訓練。

8.根據權利要求7所述的裝置，其特征在于，所述字符詞性序列構建子模塊標注每個字符在分詞中的位置時，將第一個字符標記為B，中間字符標記為M，最后一個字符標記為E，單獨作為一個詞的字符標記為S；所述字符標注序列構建子模塊將不在目標實體內的字符用O或其它記號標記為空值。