[發(fā)明專利]文本蘊(yùn)含關(guān)系識(shí)別方法、裝置、電子設(shè)備和存儲(chǔ)介質(zhì)

在審

• 申請?zhí)枺?/td>: 202211326622.4
• 申請日: 2022-10-27
• 公開（公告）號(hào): CN116522914A
• 公開（公告）日: 2023-08-01
• 發(fā)明（設(shè)計(jì)）人: 嚴(yán)明
• 申請（專利權(quán)）人: 中國農(nóng)業(yè)銀行股份有限公司
• 主分類號(hào): G06F40/289
• 分類號(hào): G06F40/289;G06F40/126;G06F18/2413;G06N3/0464;G06N3/0442;G06N3/08
• 代理公司: 北京品源專利代理有限公司 11332
• 代理人: 侯軍洋

1.一種文本蘊(yùn)含關(guān)系識(shí)別方法，其特征在于，包括：

通過預(yù)設(shè)分詞器確定與所述第一文本對應(yīng)的多個(gè)第一分詞和與所述第二文本對應(yīng)的多個(gè)第二分詞；

根據(jù)預(yù)設(shè)詞嵌入模型分別對所述第一分詞和所述第二分詞進(jìn)行向量化，確定第一分詞對應(yīng)的第一文本詞向量和第二分詞對應(yīng)的第二文本詞向量；

根據(jù)預(yù)先訓(xùn)練的關(guān)系識(shí)別模型對所述第一文本詞向量和第二文本詞向量所述進(jìn)行文本蘊(yùn)含識(shí)別，確定所述第一文本和第二文本的文本蘊(yùn)含關(guān)系。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述關(guān)系識(shí)別模型包括與所述預(yù)設(shè)詞嵌入模型連接的雙向長短期記憶層，分別與所述雙向長短期記憶層連接的自注意力層和協(xié)同注意力層，分別與所述雙向長短期記憶層和所述協(xié)同注意力層連接的融合層，與所述融合層連接池化層，與所述池化層和自主力層連接的拼接層，與所述拼接層連接的全連接層，以及，與所述全連接層連接的輸出層。

3.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述根據(jù)預(yù)先訓(xùn)練的關(guān)系識(shí)別模型對所述第一文本詞向量和第二文本詞向量所述進(jìn)行文本蘊(yùn)含識(shí)別，確定所述第一文本和第二文本的文本蘊(yùn)含關(guān)系，包括：

通過所述雙向長短期記憶層，分別確定所述第一文本詞向量對應(yīng)的第一特征向量和所述第二文本詞向量對應(yīng)的第二特征向量；

通過所述自注意力層，分別確定所述第一特征向量對應(yīng)的第一自注意力向量和所述第二特征向量對應(yīng)的第二自注意力向量；

通過所述協(xié)同注意力層，分別確定所述第一特征向量對應(yīng)的第一交互向量和所述第二特征向量對應(yīng)的第二交互向量；

通過所述融合層，將所述第一特征向量與所述第一交互向量進(jìn)行融合，得到第一融合向量，以及，將和所述第二特征詞向量與所述第二交互向量進(jìn)行融合，得到第二融合向量；

通過所述池化層和所述拼接層分別對所述第一融合向量和所述第二融合向量進(jìn)行處理，得到蘊(yùn)含關(guān)系向量；

通過所述全連接層和所述輸出層對所述蘊(yùn)含關(guān)系向量進(jìn)行處理，得到所述第一文本和第二文本的文本蘊(yùn)含關(guān)系。

4.根據(jù)權(quán)利要求3所述的方法，其特征在于，所述通過所述雙向長短期記憶層，分別確定所述第一文本詞向量對應(yīng)的第一特征向量和所述第二文本詞向量對應(yīng)的第二特征向量，包括：

將所述第一文本詞向量和所述第二文本詞向量輸入至雙向長短期記憶層中，分別確定所述第一文本詞向量對應(yīng)的多個(gè)第一子向量以及所述第二文本詞向量對應(yīng)的多個(gè)第二子向量；

將多個(gè)所述第一子向量進(jìn)行拼接，得到所述第一文本詞向量對應(yīng)的所述第一特征詞向量；

將多個(gè)所述第二子向量進(jìn)行拼接，得到所述第二文本詞向量對應(yīng)的所述第二特征向量。

5.根據(jù)權(quán)利要求3所述的方法，其特征在于，所述通過所述自注意力層，分別確定所述第一特征向量對應(yīng)的第一自注意力向量和所述第二特征向量對應(yīng)的第二自注意力向量，包括：

將所述第一特征向量和所述第二特征向量輸入至所述自注意力層中，分別確定所述第一特征向量的第一注意力分值和所述第二特征向量的第二注意力分值；

將所述第一注意力分值進(jìn)行歸一化處理，得到所述第一特征向量對應(yīng)的第一權(quán)重；

將所述第二注意力分值進(jìn)行歸一化處理，得到所述第二特征向量對應(yīng)的第二權(quán)重；

將所述第一權(quán)重和所述第一特征向量相乘，得到所述第一特征詞向量的所述第一自注意力向量；

將所述第二權(quán)重和所述第二特征向量相乘，得到所述第二特征詞向量的所述第二自注意力向量。

6.根據(jù)權(quán)利要求3所述的方法，其特征在于，所述通過所述協(xié)同注意力層，分別確定所述第一特征向量對應(yīng)的第一交互向量和所述第二特征向量對應(yīng)的第二交互向量，包括：

將所述第一特征向量和所述第二特征向量輸入至所述協(xié)同注意力層中，分別計(jì)算所述第一特征向量的第三權(quán)重和所述第二特征向量的第四權(quán)重；

根據(jù)所述第三權(quán)重確定所述第一特征詞向量對應(yīng)的第一交互向量，以及，根據(jù)所述第四權(quán)重確定所述第二特征向量對應(yīng)的第二交互向量。