[發明專利]一種語料生成裝置和方法

在審

• 申請號: 201680001747.6
• 申請日: 2016-06-29
• 公開（公告）號: CN107004000A
• 公開（公告）日: 2017-08-01
• 發明（設計）人: 王昊奮;邱楠;楊新宇
• 申請（專利權）人: 深圳狗尾草智能科技有限公司
• 主分類號: G06F17/27
• 分類號: G06F17/27;G06F17/30
• 代理公司: 深圳市華優知識產權代理事務所(普通合伙)44319
• 代理人: 李麗君

1.一種基于知識驅動的語料生成裝置，其特征在于，包括：

分詞模塊，連接至少一個單語平行語料庫，用于對每一所述平行語料庫內的語句進行分詞，并對分詞進行知識驅動以實現標簽化；

分類模塊，用于識別知識驅動處理后的語句，將標簽序列不同的相同含義的語句分類到同一語句簇；

映射模塊，用于分析每一所述單語平行語料庫中每一所述語句簇中的語句，確定所述語句簇中所有語句的句式結構類別，確定并記錄存儲同一所述語句簇中不同所述句式結構類別之間進行變換時，相應的所述句式結構之間的標簽變換的映射方式；

句式結構生成模塊，用于查找所有單語平行語料庫中每一所述語句簇中相同的第一類別句式結構，并根據所述語句簇其中之一者的所述第一類別句式結構與同一所述語句簇中其他類別句式結構的第一類映射方式，在其余的所述語句簇中對所述第一類別句式結構按照所述映射方式分別進行映射，生成相應的句式結構類別；以及，

語料生成模塊，用于對新生成的所述句式結構嵌套所述語句簇中句式結構的序列標簽對應的詞語，生成新的單語平行語料庫。

2.根據權利要求1所述的語料生成裝置，其特征在于，所述分詞模塊包括：

分詞單元，用于對所有單語平行語料庫中的所述語句進行分詞；

第一標簽單元，用于按照詞語的詞性對分詞處理后的所述語句添加第一標簽；

第二標簽單元，用于按照詞語在句中成分對分詞處理后的所述語句添加第二標簽。

3.根據權利要求2所述的語料生成裝置，其特征在于，所述分詞模塊還包括第三標簽單元；

所述第三標簽單元用于對經標簽化處理后標簽序列相同的不同含義的語句，按照詞語含義對所述語句添加第三標簽。

4.根據權利要求1所述的語料生成裝置，其特征在于，所述語料生成模塊包括：

標簽識別單元，用于識別所有單語平行語料庫中每一所述語句簇中全部句式結構中的標簽；

語料生成單元，用于將每一所述語句簇中全部句式結構中的標簽對應的詞語嵌套到所述句式結構中，生成新的單語平行語料庫。

5.根據權利要求4所述的語料生成裝置，其特征在于，所述語料生成單元按照所述分詞模塊的所述知識驅動標準對新生成的所述句式結構進行嵌套。

6.一種語料生成方法，其特征在于，包括：

對至少一個單語平行語料庫中每一語句進行分詞，并對分詞進行知識驅動以實現標簽化；

識別知識驅動處理后的語句，將標簽序列不同的相同含義的語句分類到同一語句簇；

分析每一所述單語平行語料庫中每一所述語句簇中的語句，確定所述語句簇中所有語句的句式結構類別，確定并記錄存儲同一所述語句簇中不同所述句式結構類別之間進行變換時，相應的所述句式結構之間的標簽變換的映射方式；

查找所有單語平行語料庫中每一所述語句簇中相同的第一類別句式結構，并根據所述語句簇其中之一者的所述第一類別句式結構與同一所述語句簇中其他類別句式結構的第一類映射方式，在其余的所述語句簇中對所述第一類別句式結構按照所述映射方式分別進行映射，生成相應的句式結構類別；

對新生成的所述句式結構嵌套所述語句簇中句式結構的序列標簽對應的詞語，生成新的單語平行語料庫。

7.根據權利要求6所述的語料生成方法，其特征在于，在對平行語料庫內的語句進行分詞的步驟中，包括步驟：

對所有單語平行語料庫中的語句進行分詞；

按照詞語的詞性對分詞處理后的所述語句添加第一標簽；

按照詞語在句中成分對分詞處理后的所述語句添加第二標簽。

8.根據權利要求7所述的語料生成方法，其特征在于，在對平行語料庫內的語句進行分詞的步驟中，還包括步驟：

對經標簽化處理后標簽序列相同的不同含義的語句，按照詞語含義對所述語句添加第三標簽。

9.根據權利要求6所述的語料生成方法，其特征在于，在對所有所述語句簇中生成的所述句式結構嵌套所述語句簇中句式結構的序列標簽對應的詞語的步驟中，包括步驟：

分別所有單語平行語料庫中每一所述語句簇中全部句式結構中的標簽；

將每一所述語句簇中全部句式結構中的標簽對應的詞語嵌套到所述句式結構中，生成語料。

10.根據權利要求9所述的語料生成方法，其特征在于，在將所述標簽對應的詞語嵌套到所述句式結構的步驟中，按照所述知識驅動標準對新生成的所述句式結構進行嵌套。