[發(fā)明專利]基于對比學習的語義識別模型訓練方法、設備和介質

在審

• 申請?zhí)枺?/td>: 202210439125.9
• 申請日: 2022-04-25
• 公開（公告）號: CN114722834A
• 公開（公告）日: 2022-07-08
• 發(fā)明（設計）人: 黃海龍
• 申請（專利權）人: 中國平安人壽保險股份有限公司
• 主分類號: G06F40/30
• 分類號: G06F40/30;G06F40/253;G06F40/247;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 廣州嘉權專利商標事務所有限公司 44205
• 代理人: 譚曉欣

1.一種基于對比學習的語義識別模型訓練方法，其特征在于，所述方法包括：

獲取待處理的原始句子文本；

根據(jù)所述原始句子文本中各個詞匯的詞性，在所述原始句子文本中確定N個候選詞匯；

從所述N個候選詞匯中選取M個詞匯作為第一目標詞匯以及選取T個詞匯作為第二目標詞匯，其中，N、M和T滿足以下數(shù)值關系式：1＜T＜M＜N；

在所述原始句子文本中，對每一個所述第一目標詞匯進行同義詞替換，得到第一處理句子文本；

在所述原始句子文本中，對每一個所述第二目標詞匯進行反義詞替換，得到第二處理句子文本；

通過所述原始句子文本、所述第一處理句子文本和所述第二處理句子文本對初始的語義識別模型進行訓練，以得到目標語義識別模型。

2.根據(jù)權利要求1所述的方法，其特征在于，所述通過所述原始句子文本、所述第一處理句子文本和所述第二處理句子文本對初始的語義識別模型進行訓練，以得到目標語義識別模型，包括：

將所述原始句子文本、所述第一處理句子文本和所述第二處理句子文本分別輸入到初始的語義識別模型，得到對應于所述原始句子文本的原始語義向量、對應于所述第一處理句子文本的第一處理語義向量和對應于所述第二處理句子文本的第二處理語義向量；

基于所述原始語義向量和所述第一處理語義向量計算第一損失值；

基于所述原始語義向量和所述第二處理語義向量計算第二損失值；

基于所述第一損失值和所述第二損失值確定是否滿足預設的訓練結束條件；

在不滿足訓練結束條件時，調整所述語義識別模型的模型參數(shù)，并通過所述原始句子文本、所述第一處理句子文本和所述第二處理句子文本繼續(xù)對調整后的語義識別模型進行訓練；

在滿足訓練結束條件時，將當前的語義識別模型作為目標語義識別模型。

3.根據(jù)權利要求2所述的方法，其特征在于，所述語義識別模型包括BERT編碼網(wǎng)絡和語義預測網(wǎng)絡；

所述將所述原始句子文本、所述第一處理句子文本和所述第二處理句子文本分別輸入到初始的語義識別模型，得到對應于所述原始句子文本的原始語義向量、對應于所述第一處理句子文本的第一處理語義向量和對應于所述第二處理句子文本的第二處理語義向量，包括：

將所述原始句子文本、所述第一處理句子文本和所述第二處理句子文本分別輸入到BERT編碼網(wǎng)絡，得到對應于所述原始句子文本的原始句編碼向量、對應于所述第一處理句子文本的第一處理句編碼向量和對應于所述第二處理句子文本的第二處理句編碼向量；其中，所述原始句編碼向量、所述第一處理句編碼向量和所述第二處理句編碼向量分別包括多個token；

將所述原始句編碼向量、所述第一處理句編碼向量和所述第二處理句編碼向量輸入所述語義預測網(wǎng)絡，得到對應于所述原始句子文本的原始語義向量、對應于所述第一處理句子文本的第一處理語義向量和對應于所述第二處理句子文本的第二處理語義向量。

4.根據(jù)權利要求3所述的方法，其特征在于，所述語義識別模型還包括token判別網(wǎng)絡；

所述方法還包括：

將所述第一處理句編碼向量和所述第二處理句編碼向量分別輸入到token判別網(wǎng)絡，得到對應于所述第一處理句編碼向量的第一token標簽序列和對應于所述第二處理句編碼向量的第二token標簽序列，其中，所述第一token標簽序列用于指示所述第一處理句編碼向量中與所述原始句編碼向量存在區(qū)別的token位置，所述第二token標簽序列用于指示所述第二處理句編碼向量中與所述原始句編碼向量存在區(qū)別的token的位置；

在將所述原始句編碼向量、所述第一處理句編碼向量和所述第二處理句編碼向量輸入所述語義預測網(wǎng)絡時，還將所述第一token標簽序列和所述第二token標簽序列輸入所述語義預測網(wǎng)絡，以使所述語義預測網(wǎng)絡基于所述第一token標簽序列和所述第二token標簽序列輸出原始句編碼向量、第一處理語義向量和第二處理語義向量。