[發(fā)明專利]用于文本表征的特征向量生成方法、裝置和電子設(shè)備

有效

• 申請?zhí)枺?/td>: 202211015737.1
• 申請日: 2022-08-24
• 公開（公告）號: CN115098647B
• 公開（公告）日: 2022-11-01
• 發(fā)明（設(shè)計）人: 趙祥;葛標(biāo);張聰聰;柳進軍;王輝;郭寶松
• 申請（專利權(quán)）人: 中關(guān)村科學(xué)城城市大腦股份有限公司
• 主分類號: G06F16/33
• 分類號: G06F16/33;G06F16/35;G06K9/62
• 代理公司: 北京唯智勤實知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11557
• 代理人: 孫姣

1.一種用于文本表征的特征向量生成方法，包括：

獲取待表征文本；

將知識特征序列中的知識特征與所述待表征文本進行拼接，以生成拼接特征；

將所述拼接特征輸入預(yù)訓(xùn)練模型，以生成候選特征向量序列；

將所述候選特征向量序列包括的候選特征向量子序列中的每個候選特征向量，與所述預(yù)訓(xùn)練模型中的嵌入矩陣進行相乘處理，以生成目標(biāo)特征向量，得到目標(biāo)特征向量序列；

對于所述目標(biāo)特征向量序列中的每個目標(biāo)特征向量，將所述目標(biāo)特征向量與所述目標(biāo)特征向量在詞表中對應(yīng)的詞向量進行向量融合，以生成融合向量；

將得到的融合向量序列中的融合向量輸入第一特征降維網(wǎng)絡(luò)，以生成第一降維特征向量序列；

將目標(biāo)候選特征向量輸入第二特征降維網(wǎng)絡(luò)，以生成第二降維特征向量，其中，所述目標(biāo)候選特征向量是所述候選特征向量序列中除所述候選特征向量子序列之外的候選特征向量；

將所述第一降維特征向量序列中的第一降維特征向量和所述第二降維特征向量進行向量拼接，以生成所述待表征文本對應(yīng)的文本表征向量。

2.根據(jù)權(quán)利要求1所述的方法，其中，所述將知識特征序列中的知識特征與所述待表征文本進行拼接，以生成拼接特征，包括：

將所述知識特征序列中的各個知識特征進行特征拼接，以生成拼接知識特征；

將所述拼接知識特征與所述待表征文本進行拼接，以生成候選拼接特征；

在所述候選拼接特征包括的知識特征尾部插入遮蓋符，以及在所述候選拼接特征包括的所述待表征文本尾部插入遮蓋符，以生成所述拼接特征。

3.根據(jù)權(quán)利要求2所述的方法，其中，所述將所述候選特征向量序列包括的候選特征向量子序列中的每個候選特征向量，與所述預(yù)訓(xùn)練模型中的嵌入矩陣進行相乘處理，以生成目標(biāo)特征向量，包括：

將所述候選特征向量與所述預(yù)訓(xùn)練模型包括的輸入層對應(yīng)的嵌入矩陣進行相乘處理，以生成所述目標(biāo)特征向量。

4.根據(jù)權(quán)利要求3所述的方法，其中，所述目標(biāo)特征向量序列中的目標(biāo)特征向量的向量長度與目標(biāo)特征向量在所述詞表中對應(yīng)的詞向量的向量長度相同，所述詞表中的詞向量為經(jīng)過獨熱編碼后的詞向量；以及

所述將所述目標(biāo)特征向量與所述目標(biāo)特征向量在詞表中對應(yīng)的詞向量進行向量融合，以生成融合向量，包括：

將所述目標(biāo)特征向量與所述目標(biāo)特征向量在所述詞表中對應(yīng)的詞向量進行向量相加融合，以生成所述目標(biāo)特征向量對應(yīng)的融合向量。

5.根據(jù)權(quán)利要求4所述的方法，其中，所述第一特征降維網(wǎng)絡(luò)包括：第一線性層和第二線性層；以及

所述將得到的融合向量序列中的融合向量輸入第一特征降維網(wǎng)絡(luò)，以生成第一降維特征向量序列，包括：

初始化第一目標(biāo)嵌入矩陣，其中，所述第一目標(biāo)嵌入矩陣為所述第一特征降維網(wǎng)絡(luò)對應(yīng)的嵌入矩陣；

將所述融合向量序列中的融合向量與所述第一目標(biāo)嵌入矩陣進行相乘處理，以生成第一相乘后特征向量序列；

將所述第一相乘后特征向量序列中的第一相乘后特征向量輸入所述第一線性層，得到第一線性處理后的特征向量，得到第一線性處理后的特征向量序列，其中，所述第一線性處理后的特征向量的向量長度與所述第一相乘后特征向量的向量長度相同；

將所述第一線性處理后的特征向量序列中的第一線性處理后的特征向量輸入所述第二線性層，以生成第一降維特征向量，得到所述第一降維特征向量序列，其中，第一降維特征向量的向量長度小于線性處理后的特征向量的向量長度。

6.根據(jù)權(quán)利要求5所述的方法，其中，所述第二特征降維網(wǎng)絡(luò)包括：第三線性層和第四線性層；以及

所述將目標(biāo)候選特征向量輸入第二特征降維網(wǎng)絡(luò)，以生成第二降維特征向量，包括：

初始化第二目標(biāo)嵌入矩陣，其中，所述第二目標(biāo)嵌入矩陣為所述第二特征降維網(wǎng)絡(luò)對應(yīng)的嵌入矩陣；

將所述目標(biāo)候選特征向量與所述第二目標(biāo)嵌入矩陣進行相乘處理，以生成第二相乘后特征向量；

將所述第二相乘后特征向量輸入所述第三線性層，以生成第二線性處理后的特征向量；

將所述第二線性處理后的特征向量輸入所述第四線性層，以生成所述第二降維特征向量。