[發(fā)明專利]用于文本表征的特征向量生成方法、裝置和電子設(shè)備

有效

• 申請?zhí)枺?/td>: 202211015737.1
• 申請日: 2022-08-24
• 公開（公告）號: CN115098647B
• 公開（公告）日: 2022-11-01
• 發(fā)明（設(shè)計(jì)）人: 趙祥;葛標(biāo);張聰聰;柳進(jìn)軍;王輝;郭寶松
• 申請（專利權(quán)）人: 中關(guān)村科學(xué)城城市大腦股份有限公司
• 主分類號: G06F16/33
• 分類號: G06F16/33;G06F16/35;G06K9/62
• 代理公司: 北京唯智勤實(shí)知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11557
• 代理人: 孫姣

本公開的實(shí)施例公開了用于文本表征的特征向量生成方法、裝置和電子設(shè)備。該方法的一具體實(shí)施方式包括：將知識特征序列中的知識特征與待表征文本進(jìn)行拼接；將拼接特征輸入預(yù)訓(xùn)練模型；將候選特征向量子序列中的每個(gè)候選特征向量，與預(yù)訓(xùn)練模型中的嵌入矩陣進(jìn)行相乘處理；將目標(biāo)特征向量與目標(biāo)特征向量在詞表中對應(yīng)的詞向量進(jìn)行向量融合；將得到的融合向量序列中的融合向量輸入第一特征降維網(wǎng)絡(luò)；將目標(biāo)候選特征向量輸入第二特征降維網(wǎng)絡(luò)；將第一降維特征向量序列中的第一降維特征向量和第二降維特征向量進(jìn)行向量拼接，以生成待表征文本對應(yīng)的文本表征向量。該實(shí)施方式提高了生成的特征向量的精準(zhǔn)度。

技術(shù)領(lǐng)域

本公開的實(shí)施例涉及計(jì)算機(jī)技術(shù)領(lǐng)域，具體涉及用于文本表征的特征向量生成方法、裝置和電子設(shè)備。

背景技術(shù)

在自然語言處理領(lǐng)域內(nèi)的多個(gè)應(yīng)用場景中，往往都需要對文本進(jìn)行文本表征，即將文本轉(zhuǎn)換為對應(yīng)的特征向量。目前，在進(jìn)行特征向量生成時(shí)，通常采用的方式為：通過多層特征提取層進(jìn)行特征提取，以生成特征向量。

然而，當(dāng)采用上述方式時(shí)，經(jīng)常會(huì)存在如下技術(shù)問題：

第一，當(dāng)文本包含較多特征時(shí)，經(jīng)過多次特征提取得到的多個(gè)特征向量之間的向量相關(guān)度不大，導(dǎo)致生成的特征向量不夠精準(zhǔn)；

第二，不同的特征對應(yīng)的特征重要程度不同，往往未針對不同的特征進(jìn)行適應(yīng)性的特征提取，導(dǎo)致生成的特征向量不夠精準(zhǔn)。

發(fā)明內(nèi)容

本公開的內(nèi)容部分用于以簡要的形式介紹構(gòu)思，這些構(gòu)思將在后面的具體實(shí)施方式部分被詳細(xì)描述。本公開的內(nèi)容部分并不旨在標(biāo)識要求保護(hù)的技術(shù)方案的關(guān)鍵特征或必要特征，也不旨在用于限制所要求的保護(hù)的技術(shù)方案的范圍。

本公開的一些實(shí)施例提出了用于文本表征的特征向量生成方法、裝置和電子設(shè)備，來解決以上背景技術(shù)部分提到的技術(shù)問題中的一項(xiàng)或多項(xiàng)。

第一方面，本公開的一些實(shí)施例提供了一種用于文本表征的特征向量生成方法，該方法包括：獲取待表征文本；將知識特征序列中的知識特征與上述待表征文本進(jìn)行拼接，以生成拼接特征；將上述拼接特征輸入預(yù)訓(xùn)練模型，以生成候選特征向量序列；將上述候選特征向量序列包括的候選特征向量子序列中的每個(gè)候選特征向量，與上述預(yù)訓(xùn)練模型中的嵌入矩陣進(jìn)行相乘處理，以生成目標(biāo)特征向量，得到目標(biāo)特征向量序列；對于上述目標(biāo)特征向量序列中的每個(gè)目標(biāo)特征向量，將上述目標(biāo)特征向量與上述目標(biāo)特征向量在詞表中對應(yīng)的詞向量進(jìn)行向量融合，以生成融合向量；將得到的融合向量序列中的融合向量輸入第一特征降維網(wǎng)絡(luò)，以生成第一降維特征向量序列；將目標(biāo)候選特征向量輸入第二特征降維網(wǎng)絡(luò)，以生成第二降維特征向量，其中，上述目標(biāo)候選特征向量是上述候選特征向量序列中除上述候選特征向量子序列之外的候選特征向量；將上述第一降維特征向量序列中的第一降維特征向量和上述第二降維特征向量進(jìn)行向量拼接，以生成上述待表征文本對應(yīng)的文本表征向量。

第二方面，本公開的一些實(shí)施例提供了一種用于文本表征的特征向量生成裝置，裝置包括：獲取單元，被配置成獲取待表征文本；拼接單元，被配置成將知識特征序列中的知識特征與上述待表征文本進(jìn)行拼接，以生成拼接特征；第一輸入單元，被配置成將上述拼接特征輸入預(yù)訓(xùn)練模型，以生成候選特征向量序列；相乘處理單元，被配置成將上述候選特征向量序列包括的候選特征向量子序列中的每個(gè)候選特征向量，與上述預(yù)訓(xùn)練模型中的嵌入矩陣進(jìn)行相乘處理，以生成目標(biāo)特征向量，得到目標(biāo)特征向量序列；向量融合單元，被配置成對于上述目標(biāo)特征向量序列中的每個(gè)目標(biāo)特征向量，將上述目標(biāo)特征向量與上述目標(biāo)特征向量在詞表中對應(yīng)的詞向量進(jìn)行向量融合，以生成融合向量；第二輸入單元，被配置成將得到的融合向量序列中的融合向量輸入第一特征降維網(wǎng)絡(luò)，以生成第一降維特征向量序列；第三輸入單元，被配置成將目標(biāo)候選特征向量輸入第二特征降維網(wǎng)絡(luò)，以生成第二降維特征向量，其中，上述目標(biāo)候選特征向量是上述候選特征向量序列中除上述候選特征向量子序列之外的候選特征向量；向量拼接單元，被配置成將上述第一降維特征向量序列中的第一降維特征向量和上述第二降維特征向量進(jìn)行向量拼接，以生成上述待表征文本對應(yīng)的文本表征向量。