[發(fā)明專利]基于字向量與自注意力機制的語義相似度計算方法

在審

• 申請?zhí)枺?/td>: 201810823575.1
• 申請日: 2018-07-25
• 公開（公告）號: CN109145290A
• 公開（公告）日: 2019-01-04
• 發(fā)明（設(shè)計）人: 宋士祺;于丁文;宮俊
• 申請（專利權(quán)）人: 東北大學(xué)
• 主分類號: G06F17/27
• 分類號: G06F17/27;G06F16/951;G06F16/332
• 代理公司: 大連東方專利代理有限責(zé)任公司 21212
• 代理人: 王志強;李洪福

1.一種基于字向量與自注意力機制的語義相似度計算方法，其特征在于，包括：

S1、面向指定領(lǐng)域搜集、爬取網(wǎng)絡(luò)語料知識庫，并生成每一個漢字的字向量表示；

S2、字向量依次替換句子S₁、S₂中的每一個漢字生成句向量；

對句子S₁、S₂中的每一個字向量依次進行位置編碼與注意力機制模型計算得到句子的語義信息向量；

S3、對得到的語義信息向量A′₁、A′₂進行相似度計算，獲得兩個向量之間的語義相似度；

步驟S2中，具體包括以下步驟：

S21、假設(shè)句子S₁、S₂分別包含n、m個字，則句向量表示為S₁＝(w₁₁，w₁₂，…，w_1n)、S₂＝(w₂₁，w₂₂，…，w_2n)；

句子S₁為n×Model的矩陣，句子S₂為m×Model的矩陣，w_ik代表第i個句子第k個字的向量化表示；

S22、句子S中的每個字向量只是單純的羅列，沒有包含句子順序信息，因此，對句向量中的每個字進行位置編號然后對每個字向量分別進行Position Embedding構(gòu)造，構(gòu)造公式為：

PE(t,2i)＝sin(t/10000^2i/Model)；

PE(t,2i+1)＝cos(t/10000^2i/Model)；

公式中t為字向量在句子中位置的編號,i為當(dāng)前字向量的第i個元素，Model即為字向量的維度；

S23、依次構(gòu)造得到的位置向量PE與字向量進行簡單的相加操作，得到S′₁、S′₂；

S24、對當(dāng)前句子S′₁、S′₂中分別進行自注意力計算，得到句子內(nèi)部的語義聯(lián)系，計算公式為：

公式中第一次輸入Q＝K＝V都是相同的句向量S′，也就是前面構(gòu)造過的句向量；

S25、對當(dāng)前注意力機制循環(huán)計算k次，每次得到的輸出作為下一次訓(xùn)練的輸入，最終將每次循環(huán)計算的結(jié)果進行線性映射到Model維內(nèi)，得到最終的語義信息向量A′；

句向量S′₁經(jīng)過注意力計算得到n×Model維的向量A′₁,S′₂得到m×Model維的向量A′₂。

2.根據(jù)權(quán)利要求1所述的基于字向量與自注意力機制的語義相似度計算方法，其特征在于，

步驟S1中，具體包括以下步驟：

S11、使用集搜客進行網(wǎng)絡(luò)語料爬取，獲取相應(yīng)語料；

S12、對語料進行預(yù)處理，去除停用詞、標(biāo)點符號、無用數(shù)字，整理獲得原始語料知識庫；

S13、對單獨每一個句子按照字進行切分，以句子為訓(xùn)練單位單個漢字依次輸入Word2vec工具的CBOW算法生成維度為Model的字向量模型。