[發(fā)明專利]自適應(yīng)廣播電視新聞關(guān)鍵詞標(biāo)準(zhǔn)化方法

有效

• 申請?zhí)枺?/td>: 202110451197.0
• 申請日: 2021-04-26
• 公開（公告）號: CN112988953B
• 公開（公告）日: 2021-09-03
• 發(fā)明（設(shè)計）人: 溫序銘;朱婷婷;楊瀚;嚴(yán)照宇;陳智
• 申請（專利權(quán)）人: 成都索貝數(shù)碼科技股份有限公司
• 主分類號: G06F16/31
• 分類號: G06F16/31
• 代理公司: 成都九鼎天元知識產(chǎn)權(quán)代理有限公司 51214
• 代理人: 賈年龍

1.自適應(yīng)廣播電視新聞關(guān)鍵詞標(biāo)準(zhǔn)化方法，其特征在于，包括：

步驟A，基于基礎(chǔ)關(guān)鍵詞庫標(biāo)準(zhǔn)化候選關(guān)鍵詞，對不能被標(biāo)準(zhǔn)化的詞則加入白名單，當(dāng)白名單詞增加到設(shè)定量后，對白名單內(nèi)的詞進(jìn)行分析提取代表詞返回給用戶，用于擴(kuò)充基礎(chǔ)關(guān)鍵詞庫；

所述基于基礎(chǔ)關(guān)鍵詞庫標(biāo)準(zhǔn)化候選關(guān)鍵詞，包括：

步驟A1，獲取多個新聞文本語料，構(gòu)建用于訓(xùn)練FastText詞向量模型的學(xué)習(xí)樣本；

步驟A2，基于步驟A1所構(gòu)建的學(xué)習(xí)樣本進(jìn)行FastText詞向量模型的訓(xùn)練，獲得詞向量模型；

步驟A3，利用步驟A2中訓(xùn)練好的FastText詞向量模型，以及結(jié)合近似最近鄰方法Hnswlib構(gòu)建候選關(guān)鍵詞標(biāo)準(zhǔn)化模型，利用所述候選關(guān)鍵詞模型標(biāo)準(zhǔn)化模型獲取輸入候選關(guān)鍵詞在基礎(chǔ)關(guān)鍵詞庫中的前K個相似詞及相互之間的距離；在距離小于設(shè)定閾值的相似詞中選擇距離與候選關(guān)鍵詞最近的作為其標(biāo)準(zhǔn)化結(jié)果返回給用戶；

步驟A4，將利用候選關(guān)鍵詞標(biāo)準(zhǔn)化模型召回的相似詞距離都大于閾值的候選關(guān)鍵詞加入白名單，供后續(xù)基礎(chǔ)關(guān)鍵詞庫擴(kuò)充準(zhǔn)備。

2.根據(jù)權(quán)利要求1所述的自適應(yīng)廣播電視新聞關(guān)鍵詞標(biāo)準(zhǔn)化方法，其特征在于，所述候選關(guān)鍵詞按照如下步驟獲取：通過基于訓(xùn)練好的關(guān)鍵詞抽取模型對輸入的廣播電視新聞進(jìn)行預(yù)測，獲得關(guān)鍵詞抽取結(jié)果，對抽取結(jié)果進(jìn)行黑名單過濾形成候選關(guān)鍵詞。

3.根據(jù)權(quán)利要求2所述的自適應(yīng)廣播電視新聞關(guān)鍵詞標(biāo)準(zhǔn)化方法，其特征在于，在進(jìn)行黑名單過濾前，對提取到的關(guān)鍵詞進(jìn)行如下處理：去除冗余、標(biāo)點分割和通順分析處理。

4.根據(jù)權(quán)利要求1所述的自適應(yīng)廣播電視新聞關(guān)鍵詞標(biāo)準(zhǔn)化方法，其特征在于，所述對白名單內(nèi)的詞進(jìn)行分析提取代表詞返回給用戶，用于擴(kuò)充基礎(chǔ)關(guān)鍵詞庫，包括：

步驟B1，利用步驟A1中訓(xùn)練好的FastText詞向量模型獲取白名單中所有詞的詞向量，基于詞向量對白名單內(nèi)的詞進(jìn)行聚類分析，獲得詞簇，這里，K為聚類數(shù)，表示詞簇中的詞總量；

步驟B2，對每個詞簇進(jìn)行分析，獲得代表詞，用于擴(kuò)充基礎(chǔ)關(guān)鍵詞庫。

5.根據(jù)權(quán)利要求4所述的自適應(yīng)廣播電視新聞關(guān)鍵詞標(biāo)準(zhǔn)化方法，其特征在于，在步驟B2中，對每個詞簇進(jìn)行分析包括如下步驟：先利用每個詞簇內(nèi)的詞構(gòu)建Hnswlib索引，然后計算每個詞簇的候選中心詞詞向量，最后在中檢索與最近的詞作為代表詞返回給用戶，由用戶判定是否將其加入基礎(chǔ)關(guān)鍵詞庫；其中，表示取詞向量的加和平均。