[發(fā)明專利]一種基于詞袋模型的文本表示的處理方法有效
| 申請?zhí)枺?/td> | 201710569638.0 | 申請日： | 2017-07-14 |
| 公開（公告）號： | CN107357895B | 公開（公告）日： | 2020-05-19 |
| 發(fā)明（設計）人： | 姚念民;牛世雄 | 申請（專利權）人： | 大連理工大學 |
| 主分類號： | G06F16/35 | 分類號： | G06F16/35;G06F40/284;G06N3/02 |
| 代理公司： | 大連理工大學專利中心 21200 | 代理人： | 梅洪玉 |
| 地址： | 116024 遼*** | 國省代碼： | 遼寧;21 |
| 權利要求書： | 查看更多 | 說明書： | 查看更多 |
| 摘要： | |||
| 搜索關鍵詞： | 一種 基于 模型 文本 表示 處理 方法 | ||
1.一種基于詞袋模型的文本表示的處理方法，其特征在于，包括如下步驟：
第一步，預處理；
對文本數(shù)據(jù)集進行分詞、去停頓詞和去低頻詞，再進行特征詞選擇；
第二步，經(jīng)預處理后的文本數(shù)據(jù)集，運用詞袋模型表示；所述的詞袋模型是以TFIDF為權重的文本表示模型；
第三步，經(jīng)預處理后的文本數(shù)據(jù)集，運用神經(jīng)網(wǎng)絡自然語言處理模型訓練得到詞向量；
第四步，根據(jù)第三步得到的詞向量的相似性修改第二步得到的詞袋模型的特征詞的權重，得到新的文本表示模型；具體修改方式為：對于第二步得到的TFIDF為權重的文本表示模型，其對應的特征權重矩陣的某一行中的某個特征詞t，若它的特征權重Wt為零，則特征權重Wt用特征詞t的相近詞t1，t2，t3，...，tn的權重Wt1，Wt2，Wt3，...，Wtn來近似表示W(wǎng)t，相近詞的數(shù)量n通過控制特征詞的相似性閾值m的大小來控制。
2.根據(jù)權利要求1所述的一種基于詞袋模型的文本表示的處理方法，其特征在于，第二步中，把經(jīng)預處理后的文本數(shù)據(jù)集復制L倍，L為正整數(shù)，用于擴大數(shù)據(jù)集的大小，再運用神經(jīng)網(wǎng)絡自然語言處理模型訓練得到詞向量。
3.根據(jù)權利要求1或2所述的一種基于詞袋模型的文本表示的處理方法，其特征在于，第四步中Wt表示還可以采用以下方式表示：根據(jù)第三步得到的詞向量的相似性修改第二步得到的詞袋模型的特征詞的權重，得到新的文本表示模型；具體修改方式為：對于第二步得到的TFIDF為權重的文本表示模型，其對應的特征權重矩陣的某一行中的某個特征詞t，若它的特征權重Wt為零，則特征權重Wt用特征詞t的相近詞t1，t2，t3，...，tn中最相近詞的權重Wi來近似表示W(wǎng)t。
該專利技術資料僅供研究查看技術是否侵權等信息，商用須獲得專利權人授權。該專利全部權利屬于大連理工大學，未經(jīng)大連理工大學許可，擅自商用是侵權行為。如果您想購買此專利、獲得商業(yè)授權和技術合作，請聯(lián)系【客服】
本文鏈接：http://www.szxzyx.cn/pat/books/201710569638.0/1.html，轉載請聲明來源鉆瓜專利網(wǎng)。
