[發(fā)明專利]一種利用關鍵詞對樣本進行增強的方法、系統(tǒng)和電子設備

在審

• 申請?zhí)枺?/td>: 202310416308.3
• 申請日: 2023-04-18
• 公開（公告）號: CN116521824A
• 公開（公告）日: 2023-08-01
• 發(fā)明（設計）人: 常方舒;李田
• 申請（專利權）人: 北京數(shù)美時代科技有限公司;數(shù)美天下（北京）科技有限公司
• 主分類號: G06F16/33
• 分類號: G06F16/33;G06F16/35;G06F40/126;G06N3/0499;G06N3/08
• 代理公司: 北京輕創(chuàng)知識產權代理有限公司 11212
• 代理人: 賴定珍

本發(fā)明涉及樣本處理技術領域，尤其涉及一種利用關鍵詞對樣本進行增強的方法、系統(tǒng)和電子設備，方法包括：得到并將待增強樣本的拼音序列與拼音關鍵詞詞表進行匹配，得到命中關鍵詞列表；使用bert模型中的embedding層獲取待增強樣本對應的第一向量，以及獲取命中關鍵詞列表對應的第二向量；將第二向量和第二向量進行拼接，得到第三向量；將第三向量輸入到bert模型的transformer編碼器層，得到用于分類的隱藏狀態(tài)的cls向量。一方面，使待增強樣本增加了關鍵詞特征信息，能夠提升樣本分類準確率和召回率，另一方面，使用拼音匹配命中待增強樣本對應的關鍵詞列表，可以解決待增強樣本中的同音變體問題。

背景技術

Bert技術已經廣泛應用于自然語言處理中，在bert的文本分類應用中，bert技術通過attention機制隱式學習樣本中的關鍵成分和輔助成分。我們將關鍵成分稱之為關鍵詞，輔助成分稱之為上下文。在工業(yè)界文本分類的規(guī)則系統(tǒng)中沉淀了大量的關鍵詞，如何將這些關鍵詞和bert模型結合是一個值得探索的問題。具體到內容風控業(yè)務中，樣本中存在變體對抗的情況，如何解決樣本變體問題也是一個值得探索的問題。

發(fā)明內容

本發(fā)明所要解決的技術問題是針對現(xiàn)有技術的不足，提供了一種利用關鍵詞對樣本進行增強的方法、系統(tǒng)和電子設備。

本發(fā)明的一種利用關鍵詞對樣本進行增強的方法的技術方案如下：

將待增強樣本拼音化，得到所述待增強樣本的拼音序列；

將所述待增強樣本的拼音序列與拼音關鍵詞詞表進行匹配，得到命中關鍵詞列表；

使用bert模型中的embedding層獲取所述待增強樣本對應的第一向量，使用bert模型中embedding層獲取所述命中關鍵詞列表對應的第二向量；

將所述第二向量和所述第二向量進行拼接，得到第三向量；

將所述第三向量輸入到bert模型的transformer編碼器層，得到用于分類的隱藏狀態(tài)的cls向量。

本發(fā)明的一種利用關鍵詞對樣本進行增強的方法的有益效果如下：

一方面，使用bert模型中的embedding層獲取待增強樣本對應的第一向量，使用bert模型中embedding層獲取命中關鍵詞列表對應的第二向量，并將第二向量和第二向量進行拼接，使待增強樣本增加了關鍵詞特征信息，關鍵詞特征信息具體體現(xiàn)在第二向量，能夠提升樣本分類準確率和召回率，另一方面，使用拼音匹配命中待增強樣本對應的關鍵詞列表，可以解決待增強樣本中的同音變體問題。

在上述方案的基礎上，本發(fā)明的一種利用關鍵詞對樣本進行增強的方法還可以做如下改進。

進一步，所述拼音關鍵詞詞表的獲取過程包括：

將關鍵詞列表中的每個關鍵詞拼音化并去重，得到所述拼音關鍵詞詞表。

進一步，將待增強樣本拼音化，得到所述待增強樣本的拼音序列，包括：

使用pypinyin工具，將所述待增強樣本拼音化，得到所述待增強樣本的拼音序列。

進一步，bert模型包括12個依次設置的transformer編碼器層，將所述第三向量輸入到bert模型的transformer編碼器層，得到用于分類的隱藏狀態(tài)的cls向量，包括：

將所述第三向量依次通過bert模型的12個transformer編碼器層后，得到用于分類的隱藏狀態(tài)的cls向量。

本發(fā)明的一種利用關鍵詞對樣本進行增強的系統(tǒng)的技術方案如下：

包括拼音化模塊、匹配模塊、向量表示模塊、拼接模塊和輸入獲取模塊；

所述拼音化模塊用于：將待增強樣本拼音化，得到所述待增強樣本的拼音序列；