[發(fā)明專(zhuān)利]結(jié)合時(shí)域特征的新詞發(fā)現(xiàn)方法和系統(tǒng)

在審

• 申請(qǐng)?zhí)枺?/td>: 202310195366.8
• 申請(qǐng)日: 2023-02-24
• 公開(kāi)（公告）號(hào): CN116186202A
• 公開(kāi)（公告）日: 2023-05-30
• 發(fā)明（設(shè)計(jì)）人: 李同慶;凌芳覺(jué)
• 申請(qǐng)（專(zhuān)利權(quán)）人: 支付寶（杭州）信息技術(shù)有限公司
• 主分類(lèi)號(hào): G06F16/33
• 分類(lèi)號(hào): G06F16/33;G06F40/216;G06N3/04;G06N3/08
• 代理公司: 上海專(zhuān)利商標(biāo)事務(wù)所有限公司 31100
• 代理人: 周敏

1.一種用于新詞發(fā)現(xiàn)的方法，所述方法包括：

對(duì)輸入的文本進(jìn)行預(yù)處理以分割成多個(gè)文本片段；

針對(duì)每個(gè)文本片段生成多個(gè)候選詞；

對(duì)于所述多個(gè)候選詞中的每個(gè)候選詞，

根據(jù)該候選詞的針對(duì)詞頻的時(shí)域變化指標(biāo)來(lái)確定該候選詞為新詞的概率分；以及

在所述概率分大于預(yù)定閾值概率分的情況下，確定該候選詞為新詞。

2.如權(quán)利要求1所述的方法，其中對(duì)于所述多個(gè)候選詞中的每個(gè)候選詞，該候選詞的時(shí)域變化指標(biāo)是通過(guò)以下操作來(lái)確定的：

對(duì)該候選詞的詞頻按時(shí)段進(jìn)行指數(shù)加權(quán)濾波以得到該候選詞在每個(gè)時(shí)段的濾波后詞頻；以及

根據(jù)所述濾波后詞頻來(lái)確定該候選詞的時(shí)域變化指標(biāo)。

3.如權(quán)利要求1所述的方法，其中確定該候選詞為新詞的概率分進(jìn)一步包括：

根據(jù)該候選詞的針對(duì)詞頻的時(shí)域變化指標(biāo)、內(nèi)部凝固度和左右信息熵來(lái)確定該候選詞為新詞的概率分。

4.如權(quán)利要求1所述的方法，其中對(duì)輸入的文本進(jìn)行預(yù)處理以分割成多個(gè)文本片段進(jìn)一步包括：

對(duì)輸入的文本進(jìn)行繁簡(jiǎn)轉(zhuǎn)換、大小寫(xiě)轉(zhuǎn)換或中英文標(biāo)點(diǎn)轉(zhuǎn)換；以及

根據(jù)標(biāo)點(diǎn)符號(hào)或標(biāo)志位來(lái)將經(jīng)轉(zhuǎn)換的文本分割成多個(gè)文本片段。

5.如權(quán)利要求1所述的方法，其中針對(duì)每個(gè)文本片段生成多個(gè)候選詞是基于n元模型n-gram來(lái)實(shí)現(xiàn)的。

6.如權(quán)利要求5所述的方法，其中針對(duì)每個(gè)文本片段生成多個(gè)候選詞進(jìn)一步包括：

在每個(gè)文本片段上通過(guò)窗口大小分別為2、3、4、5的窗口進(jìn)行滑動(dòng)以分別生成2-5元的多個(gè)候選詞。

7.如權(quán)利要求3所述的方法，其中對(duì)于所述多個(gè)候選詞中的每個(gè)候選詞，該候選詞的內(nèi)部凝固度是基于該候選詞的各個(gè)子序列之間的互信息熵的最小值來(lái)確定的。

8.如權(quán)利要求3所述的方法，其中對(duì)于所述多個(gè)候選詞中的每個(gè)候選詞，該候選詞的左信息熵和右信息熵分別是基于該候選詞的左鄰字集合和右鄰字集合在該候選詞所在的文本片段中出現(xiàn)的概率來(lái)確定的。

9.如權(quán)利要求3所述的方法，其中對(duì)于所述多個(gè)候選詞中的每個(gè)候選詞，根據(jù)該候選詞的時(shí)域變化指標(biāo)、內(nèi)部凝固度和左右信息熵來(lái)確定該候選詞為新詞的概率分進(jìn)一步包括：

將S型函數(shù)應(yīng)用于該候選詞的時(shí)域變化指標(biāo)、內(nèi)部凝固度以及左信息熵和右信息熵中的較小值以確定該候選詞為新詞的概率分。

10.一種用于新詞發(fā)現(xiàn)的系統(tǒng)，所述系統(tǒng)包括：

文本預(yù)處理模塊，對(duì)輸入的文本進(jìn)行預(yù)處理以分割成多個(gè)文本片段；

候選詞生成模塊，針對(duì)每個(gè)文本片段生成多個(gè)候選詞；

新詞發(fā)現(xiàn)模塊，

對(duì)于所述多個(gè)候選詞中的每個(gè)候選詞，

根據(jù)該候選詞的針對(duì)詞頻的時(shí)域變化指標(biāo)來(lái)確定該候選詞為新詞的概率分；以及

在所述概率分大于預(yù)定閾值概率分的情況下，確定該候選詞為新詞。

11.如權(quán)利要求10所述的系統(tǒng)，其中對(duì)于所述多個(gè)候選詞中的每個(gè)候選詞，該候選詞的時(shí)域變化指標(biāo)是通過(guò)以下操作來(lái)確定的：

對(duì)該候選詞的詞頻按時(shí)段進(jìn)行指數(shù)加權(quán)濾波以得到該候選詞在每個(gè)時(shí)段的濾波后詞頻；以及

根據(jù)所述濾波后詞頻來(lái)確定該候選詞的時(shí)域變化指標(biāo)。

12.如權(quán)利要求10所述的系統(tǒng)，其中確定該候選詞為新詞的概率分進(jìn)一步包括：

根據(jù)該候選詞的針對(duì)詞頻的時(shí)域變化指標(biāo)、內(nèi)部凝固度和左右信息熵來(lái)確定該候選詞為新詞的概率分。

13.如權(quán)利要求10所述的系統(tǒng)，其中針對(duì)每個(gè)文本片段生成多個(gè)候選詞進(jìn)一步包括：

基于n元模型n-gram在每個(gè)文本片段上通過(guò)窗口大小為n的窗口進(jìn)行滑動(dòng)以生成n元的多個(gè)候選詞。