[發(fā)明專利]一種無效上位詞的過濾方法、裝置及存儲介質(zhì)有效
| 申請?zhí)枺?/td> | 201810043574.5 | 申請日： | 2018-01-17 |
| 公開（公告）號： | CN108304501B | 公開（公告）日： | 2020-09-04 |
| 發(fā)明（設(shè)計）人： | 鄭孫聰;李瀟 | 申請（專利權(quán)）人： | 騰訊科技（深圳）有限公司 |
| 主分類號： | G06F16/9535 | 分類號： | G06F16/9535;G06F16/35;G06F40/284;G06F40/30;G06F40/289 |
| 代理公司： | 深圳翼盛智成知識產(chǎn)權(quán)事務(wù)所(普通合伙) 44300 | 代理人： | 黃威 |
| 地址： | 518057 廣東省深圳*** | 國省代碼： | 廣東;44 |
| 權(quán)利要求書： | 查看更多 | 說明書： | 查看更多 |
| 摘要： | |||
| 搜索關(guān)鍵詞： | 一種 無效 上位 過濾 方法 裝置 存儲 介質(zhì) | ||
1.一種無效上位詞的過濾方法，其特征在于，包括：
對待處理短文本進(jìn)行分字處理，得到所述待處理短文本的第一分字處理結(jié)果；
確定上位詞分類模型；所述上位詞分類模型是根據(jù)第一訓(xùn)練樣本訓(xùn)練得到的，在確定所述第一訓(xùn)練樣本時，包括：在預(yù)置的上位詞集合中選擇無效上位詞，設(shè)置所述選擇的無效上位詞的無效標(biāo)記；確定有效上位詞的第二描述模板，所述第二描述模板與所述選擇的無效上位詞的第一描述模板具有共有信息；從所述上位詞集合中選擇與所述第二描述模板一致的有效上位詞，設(shè)置所選擇的有效上位詞的有效標(biāo)記；
根據(jù)所述上位詞分類模型提取所述第一分字處理結(jié)果的語義特征，并根據(jù)所述語義特征獲取所述待處理短文本是否為無效上位詞的信息，以進(jìn)行過濾處理。
2.如權(quán)利要求1所述的方法，其特征在于，所述確定上位詞分類模型，具體包括：
確定第一訓(xùn)練樣本，所述第一訓(xùn)練樣本中包括已標(biāo)記有效的上位詞和已標(biāo)記無效的上位詞，及確定上位詞分類的初始模型；
分別對所述第一訓(xùn)練樣本中的各個上位詞進(jìn)行分字處理，得到第二分字處理結(jié)果；
根據(jù)所述上位詞分類的初始模型，及所述第二分字處理結(jié)果，對所述第一訓(xùn)練樣本中各個上位詞進(jìn)行分類，得到所述各個上位詞是否無效的初始分類結(jié)果；
根據(jù)所述初始分類結(jié)果計算與所述上位詞分類的初始模型相關(guān)的損失函數(shù)的函數(shù)值；
根據(jù)所述損失函數(shù)的函數(shù)值調(diào)整所述上位詞分類的初始模型的固定參數(shù)值，以得到所述上位詞分類模型。
3.如權(quán)利要求2所述的方法，其特征在于，所述在預(yù)置的上位詞集合中選擇無效上位詞，具體包括：
在預(yù)置的上位詞集合中選擇如下至少一種類型的無效上位詞：方位詞類型，年代類型，形容詞類型和非名詞類型。
4.如權(quán)利要求3所述的方法，其特征在于，所述確定有效上位詞的第二描述模板，具體包括：
如果所述選擇的無效上位詞包括方位詞類型的無效上位詞，確定對應(yīng)的第二描述模板為：以名詞結(jié)尾，且能以“在”開始或以“在”開始的短文本；
如果所述選擇的無效上位詞包括年代類型的無效上位詞，確定對應(yīng)的第二描述模板為：年代與名詞的結(jié)合的短文本；
如果所述選擇的無效上位詞包括形容詞類型的無效上位詞，確定對應(yīng)的第二描述模板為：能以“的”結(jié)尾或以“的”結(jié)尾，且包括名詞的短文本；
如果所述選擇的無效上位詞包括非名詞類型的無效上位詞，確定對應(yīng)的第二描述模板為：包括名詞的短文本。
5.如權(quán)利要求2所述的方法，其特征在于，所述確定上位詞分類的初始模型，具體包括：
確定所述上位詞分類的初始模型的結(jié)構(gòu)，所述上位詞分類的初始模型包括特征提取模塊和分類模塊，所述特征提取模塊用于進(jìn)行語義特征的提取，所述分類模塊用于根據(jù)所述特征提取模塊提取的語義特征進(jìn)行無效上位詞或有效上位詞的分類；
確定所述特征提取模塊和分類模塊中固定參數(shù)的初始值。
6.如權(quán)利要求5所述的方法，其特征在于，
所述特征提取模塊包括：字向量層，卷積層和池化層，所述分類模塊包括：分類層；
其中，所述字向量層用于獲取各個字的字向量，所述字向量用于表示對應(yīng)字的語義特征，所述卷積層用于根據(jù)各個字的字向量對相鄰字進(jìn)行融合，所述池化層用于對所述卷積層融合后的向量進(jìn)行降維處理。
7.如權(quán)利要求6所述的方法，其特征在于，所述特征提取模塊還包括至少一種類型的提取網(wǎng)絡(luò)及拼接層，所述任一種類型的提取網(wǎng)絡(luò)用于獲取各個字的字向量；所述拼接層用于將所述至少一種類型的提取網(wǎng)絡(luò)提取的字向量，與所述池化層得到的向量進(jìn)行拼接后，輸入到所述分類層。
該專利技術(shù)資料僅供研究查看技術(shù)是否侵權(quán)等信息，商用須獲得專利權(quán)人授權(quán)。該專利全部權(quán)利屬于騰訊科技（深圳）有限公司，未經(jīng)騰訊科技（深圳）有限公司許可，擅自商用是侵權(quán)行為。如果您想購買此專利、獲得商業(yè)授權(quán)和技術(shù)合作，請聯(lián)系【客服】
本文鏈接：http://www.szxzyx.cn/pat/books/201810043574.5/1.html，轉(zhuǎn)載請聲明來源鉆瓜專利網(wǎng)。
