[發(fā)明專利]基于文本匹配模型的文本分類方法、裝置及相關(guān)設(shè)備

有效

• 申請(qǐng)?zhí)枺?/td>: 202110463070.0
• 申請(qǐng)日: 2021-04-22
• 公開（公告）號(hào): CN113032572B
• 公開（公告）日: 2023-09-05
• 發(fā)明（設(shè)計(jì)）人: 劉吉?jiǎng)?/a>
• 申請(qǐng)（專利權(quán)）人: 中國(guó)平安人壽保險(xiǎn)股份有限公司
• 主分類號(hào): G06F16/35
• 分類號(hào): G06F16/35;G06F40/126;G06F40/194;G06N3/0442;G06N3/048;G06N3/08
• 代理公司: 深圳國(guó)新南方知識(shí)產(chǎn)權(quán)代理有限公司 44374
• 代理人: 代文成

1.一種基于文本匹配模型的文本分類方法，其特征在于，所述文本匹配模型包括編碼層、特征增強(qiáng)層、注意力融合層和分類層，所述方法包括：

獲取待匹配的第一文本語料和第二文本語料；

通過預(yù)先訓(xùn)練好的文本匹配模型中的所述編碼層對(duì)所述第一文本語料進(jìn)行處理，得到所述第一文本語料的編碼特征；

通過所述文本匹配模型中的所述編碼層對(duì)所述第二文本語料進(jìn)行處理，得到所述第二文本語料的編碼特征；

通過所述特征增強(qiáng)層對(duì)所述第一文本語料的編碼特征進(jìn)行處理，得到第一增強(qiáng)特征，通過所述特征增強(qiáng)層對(duì)所述第二文本語料的編碼特征進(jìn)行處理，得到第二增強(qiáng)特征；

通過所述注意力融合層計(jì)算所述第一增強(qiáng)特征和所述第二增強(qiáng)特征之間的相似性，并根據(jù)所述相似性對(duì)所述第一增強(qiáng)特征和所述第二增強(qiáng)特征進(jìn)行突出，得到突出的第一增強(qiáng)特征和突出的第二增強(qiáng)特征；

通過所述注意力融合層對(duì)所述第一增強(qiáng)特征和所述突出的所述第一增強(qiáng)特征進(jìn)行融合，得到第一融合特征，對(duì)所述第二增強(qiáng)特征和所述突出的所述第二增強(qiáng)特征進(jìn)行融合，得到第二融合特征；

所述分類層根據(jù)所述第一融合特征和所述第二融合特征得到所述第一文本語料和所述第二文本語料之間的匹配概率；

所述通過所述特征增強(qiáng)層對(duì)所述第一文本語料的編碼特征進(jìn)行處理，得到第一增強(qiáng)特征的步驟包括：

通過以下公式計(jì)算所述第一增強(qiáng)特征：

其中，表示所述第一增強(qiáng)特征，a_i表示第一中間特征，表示第一詞特征，表示第一上下文特征，表示第一詞特征門系數(shù)，表示第一上下文特征門系數(shù)；

通過以下公式計(jì)算所述第一詞特征門系數(shù)

其中，σ表示sigmoid函數(shù)，W_g、W_e和z_e表示訓(xùn)練得到的所述特征增強(qiáng)層的中的參數(shù),a_i表示所述第一中間特征，表示所述第一詞特征；

通過以下公式計(jì)算所述第一上下文特征門系數(shù)

其中，σ表示sigmoid函數(shù)，W_g、W_h和z_h表示訓(xùn)練得到的所述特征增強(qiáng)層中的參數(shù),a_i表示所述第一中間特征，表示所述第一上下文特征。

2.根據(jù)權(quán)利要求1所述的基于文本匹配模型的文本分類方法，其特征在于，訓(xùn)練所述文本匹配模型的步驟包括：

根據(jù)用戶的輸入配置所述文本匹配模型的層數(shù)以及每層包括的參數(shù)；

獲取包含有第一文本語料樣本和第二文本語料樣本的若干個(gè)樣本組，每個(gè)所述樣本組攜帶有對(duì)應(yīng)的第一文本語料樣本和第二文本語料樣本是否匹配的標(biāo)注；

通過所述樣本組對(duì)所述文本匹配模型進(jìn)行訓(xùn)練，當(dāng)所述文本匹配模型的損失函數(shù)收斂時(shí)，得到所述文本匹配模型中每層的參數(shù)值。

3.根據(jù)權(quán)利要求1所述的基于文本匹配模型的文本分類方法，其特征在于，所述編碼層包括Embedding層和token層，所述第一文本語料的編碼特征包括第一詞特征、第一上下文特征和第一中間特征，所述通過所述編碼層對(duì)所述第一文本語料進(jìn)行處理，得到所述第一文本語料的編碼特征的步驟包括：

通過所述Embedding層對(duì)所述第一文本語料進(jìn)行處理，得到所述第一詞特征；

通過所述token層對(duì)所述第一詞特征進(jìn)行token處理，得到所述第一中間特征；

通過雙向長(zhǎng)短期記憶網(wǎng)絡(luò)LSTM中的Encoder對(duì)所述第一中間特征進(jìn)行編碼，得到所述第一上下文特征。

4.根據(jù)權(quán)利要求3所述的基于文本匹配模型的文本分類方法，其特征在于，所述第二文本語料的編碼特征包括第二詞特征、第二上下文特征和第二中間特征，所述通過所述編碼層對(duì)所述第二文本語料進(jìn)行處理，得到所述第二文本語料的編碼特征的步驟包括：

通過所述Embedding層對(duì)所述第二文本語料進(jìn)行處理，得到所述第二詞特征；

通過所述token層對(duì)所述第二詞特征進(jìn)行token處理，得到所述第二中間特征；

通過雙向長(zhǎng)短期記憶網(wǎng)絡(luò)LSTM中的Encoder對(duì)所述第二中間特征進(jìn)行編碼，得到所述第二上下文特征。