[發明專利]一種語料庫生成方法、裝置、設備和計算機存儲介質

有效

• 申請號: 201710735803.5
• 申請日: 2017-08-24
• 公開（公告）號: CN110019827B
• 公開（公告）日: 2023-03-14
• 發明（設計）人: 王丹丹;趙林;郎兵
• 申請（專利權）人: 騰訊科技（北京）有限公司
• 主分類號: G06F16/36
• 分類號: G06F16/36;G06F16/35
• 代理公司: 北京派特恩知識產權代理有限公司 11270
• 代理人: 張穎玲;王花麗

1.一種語料庫生成方法，其特征在于，所述方法包括：

從待處理信息庫中確定第一媒體；其中，所述第一媒體為所述待處理信息庫中評分大于第一閾值的媒體；

基于所述第一媒體和所述第一媒體對應的文本，生成第一種子語料；

采用預設算法對所述待處理信息庫中的文本進行分類，并對得到的分類集合中的文本進行篩選，生成第二種子語料；其中，所述第二種子語料中包括至少一個種子語料；

基于所述第一種子語料和所述第二種子語料生成基準分類模型；

基于所述第一種子語料和所述第二種子語料從所述待處理信息庫中獲取增量文本，并采用所述基準分類模型對所述增量文本進行篩選生成目標語料庫；

其中，所述基于所述第一媒體和所述第一媒體對應的文本，生成第一種子語料，包括：從所述第一媒體中確定類別為第一類別的媒體，得到第二媒體；確定與所述第一類別具有關聯關系的關鍵詞；基于所述關鍵詞在所述第二媒體對應的文本中，篩選與所述關鍵詞具有關聯關系的文本，生成所述第一種子語料。

2.根據權利要求1所述的方法，其特征在于，所述采用預設算法對所述待處理信息庫中的文本進行分類，并對得到的分類集合中的文本進行篩選，生成第二種子語料，包括：

采用第一算法對所述待處理信息庫中的文本進行分類，并對得到的第一分類集合中的文本進行篩選，生成第一子種子語料；其中，所述第二種子語料包括所述第一子種子語料。

3.根據權利要求1所述的方法，其特征在于，所述采用預設算法對所述待處理信息庫中的文本進行分類，并對得到的分類集合中的文本進行篩選，生成第二種子語料，還包括：

采用第二算法對所述待處理信息庫中的文本進行分類，并對得到的第二分類集合中的文本進行篩選，生成第二子種子語料；其中，所述第二種子語料包括所述第二子種子語料。

4.根據權利要求1所述的方法，其特征在于，所述采用預設算法對所述待處理信息庫中的文本進行分類，并對得到的分類集合中的文本進行篩選，生成第二種子語料，還包括：

采用第一算法對所述待處理信息庫中的文本進行分類，并對得到的第一分類集合中的文本進行篩選，生成第一子種子語料；

采用第二算法對所述待處理信息庫中的文本進行分類，并對得到的第二分類集合中的文本進行篩選，生成第二子種子語料；其中，所述第二種子語料包括所述第一子種子語料和所述第二子種子語料。

5.根據權利要求2或4所述的方法，其特征在于，所述采用第一算法對所述待處理信息庫中的文本進行分類，并對得到的第一分類集合中的文本進行篩選，生成第一子種子語料，包括：

采用預設分類模型對所述待處理信息庫中的文本進行分類，得到所述第一分類集合；

基于第一類別，從所述第一分類集合中獲取與所述第一類別具有關聯關系的第一文本；

獲取所述第一文本中權重值大于第二閾值的文本，生成所述第一子種子語料。

6.根據權利要求3或4所述的方法，其特征在于，所述采用第二算法對所述待處理信息庫中的文本進行分類，并對得到的第二分類集合中的文本進行篩選，生成第二子種子語料，包括：

采用預設轉換模型將所述待處理信息庫中的文本進行轉換，得到詞向量；

采用預設處理方法對所述詞向量進行計算，并基于計算結果對所述詞向量進行分類得到所述第二分類集合；

計算所述第二分類集合中每個類別中的每個文本的權重值；

從所述第二分類集合中獲取與第一類別具有關聯關系的第二文本，并從所述第二文本中獲取權重值大于第三閾值的文本，生成所述第二子種子語料。

7.根據權利要求2所述的方法，其特征在于，所述基于所述第一種子語料和所述第二種子語料生成基準分類模型，包括：

將所述第一種子語料和所述第一子種子語料合并，得到語料集合；

采用第三算法對所述語料集合進行處理，得到所述基準分類模型。