[發(fā)明專利]一種基于語義擴(kuò)展和最大邊緣相關(guān)的偽文本生成方法

有效

• 申請?zhí)枺?/td>: 201910369823.4
• 申請日: 2019-05-06
• 公開（公告）號: CN110032741B
• 公開（公告）日: 2020-02-04
• 發(fā)明（設(shè)計(jì)）人: 盧玲;楊武
• 申請（專利權(quán)）人: 重慶理工大學(xué)
• 主分類號: G06F40/289
• 分類號: G06F40/289;G06F40/30;G06F16/35
• 代理公司: 50240 重慶天成卓越專利代理事務(wù)所(普通合伙)
• 代理人: 路寧

1.一種基于語義擴(kuò)展和最大邊緣相關(guān)的偽文本生成方法，其特征在于，包括以下步驟：

S1，提取原文本的詞和/或短語特征；

S2，根據(jù)步驟S1中提取的特征通過相似度計(jì)算生成擴(kuò)展詞；

其中，擴(kuò)展詞的生成方法包括：

以預(yù)訓(xùn)練的詞向量矩陣WMDIC為查找表；計(jì)算：

其中，findNearest()為計(jì)算最相似的詞向量，t_i為文本特征，WMDIC為預(yù)訓(xùn)練的詞向量矩陣，n為候選頂點(diǎn)數(shù)；為候選詞集；

其中，sim()為相似度度量函數(shù)，為擴(kuò)展特征，w為實(shí)邊線權(quán)值；

其中，為生成t_i與之間權(quán)值為w的實(shí)線邊；

E_r＝E_r∪{e_r}；E_r為實(shí)線邊集，e_r為實(shí)線邊；

C^(h)為擴(kuò)展特征集，為候選擴(kuò)展詞集；

S3，對步驟S2中的擴(kuò)展詞進(jìn)行篩選候選詞；

S4，生成偽文本。

2.根據(jù)權(quán)利要求1所述的基于語義擴(kuò)展和最大邊緣相關(guān)的偽文本生成方法，其特征在于，在步驟S1中，原文本的詞和/或短語特征的提取方法包括：

設(shè)S為原文本，將其表示為詞向量矩陣，設(shè)窗口大小為h，對窗口內(nèi)詞向量求和，得到S的一組短語特征T^(h)，表示為其中，是大小為h的窗口內(nèi)詞向量相加而成的新向量；

當(dāng)h為1時(shí)，T⁽¹⁾即為S，表示單個(gè)詞特征；

通過改變h大小，得到S的多組語義特征，表示為T＝{T⁽¹⁾,T⁽²⁾,...,T^(p)}。

3.根據(jù)權(quán)利要求1所述的基于語義擴(kuò)展和最大邊緣相關(guān)的偽文本生成方法，其特征在于，在步驟S3中，候選詞的篩選方法包括：

設(shè)詞典為D，原文特征為T^(h)，對為其候選詞；計(jì)算：

其中，z為虛線邊權(quán)值，其中，t_j∈{t_i-m,...,t_i-1,t_i+1,...,t_i+m}；

其中，為生成t_j與之間權(quán)值為z的虛線邊；

E_p＝E_p∪{e_p}，其中，E_p為虛邊集，e_p為虛線邊；

其中，為特征t_j對候選詞的條件概率，計(jì)算公式為：

其中，|D|為字典D中的詞數(shù)，是t_j、在文本集中的共現(xiàn)頻度；

由于是生成的擴(kuò)展詞，對假設(shè)其先驗(yàn)概率相等，令則在TP下的后驗(yàn)概率計(jì)算如式：

即的后驗(yàn)概率是其相關(guān)聯(lián)虛線邊權(quán)值的乘積。

4.根據(jù)權(quán)利要求1所述的基于語義擴(kuò)展和最大邊緣相關(guān)的偽文本生成方法，其特征在于，在步驟S4中，偽文本的生成方法包括：

對將評分最高的作為t_i的擴(kuò)展特征；

評分的計(jì)算方法為：其中，w為實(shí)邊線權(quán)值；為擴(kuò)展特征，

分別對進(jìn)行語義擴(kuò)展，將篩選的擴(kuò)展詞與S拼接，得到偽文本PD。

5.根據(jù)權(quán)利要求1所述的基于語義擴(kuò)展和最大邊緣相關(guān)的偽文本生成方法，其特征在于，在步驟S3中還包括：

在篩選擴(kuò)展詞時(shí)，對文本特征t_i，為其候選詞集，如為t_i-1已選中的擴(kuò)展詞，則對計(jì)算：

其中，sim()為余弦相似度度量函數(shù)，λ是相關(guān)度度量參數(shù)；

當(dāng)i為1時(shí)，由于t₁沒有前序特征，對其關(guān)聯(lián)的實(shí)線邊權(quán)值不做修改。