[發(fā)明專利]一種基于類內(nèi)類間文檔頻和詞頻統(tǒng)計的特征選擇方法在審
| 申請?zhí)枺?/td> | 201810131876.8 | 申請日： | 2018-02-09 |
| 公開（公告）號： | CN108491429A | 公開（公告）日： | 2018-09-04 |
| 發(fā)明（設(shè)計）人： | 邵雄凱;趙婧;劉建舟;王春枝;華滿;陽鄒;陳亮亮 | 申請（專利權(quán)）人： | 湖北工業(yè)大學 |
| 主分類號： | G06F17/30 | 分類號： | G06F17/30;G06F17/27 |
| 代理公司： | 武漢科皓知識產(chǎn)權(quán)代理事務(wù)所(特殊普通合伙) 42222 | 代理人： | 魏波 |
| 地址： | 430068 湖北*** | 國省代碼： | 湖北;42 |
| 權(quán)利要求書： | 查看更多 | 說明書： | 查看更多 |
| 摘要： | |||
| 搜索關(guān)鍵詞： | 文檔 特征選擇 詞頻統(tǒng)計 特征詞 訓練集 詞庫 評估函數(shù) 原始特征空間 詞頻 文本預處理 集中分布 中文文本 綜合考慮 分散度 集中度 并集 分類 | ||
1.一種基于類內(nèi)類間文檔頻和詞頻統(tǒng)計的特征選擇方法，其特征在于，包括以下步驟：
步驟1：訓練集中的文本經(jīng)過分詞、去停用詞后由詞項表示，記為原始特征空間；輸入訓練集原始所有的特征詞，其中原始特征空間中特征詞記為tk，0≤k≤N，N為原始特征空間中特征詞總數(shù)；
步驟2：綜合考慮特征詞的文檔頻、詞頻以及特征詞的類間集中度、類內(nèi)分散度，構(gòu)造出基于類內(nèi)類間文檔頻和詞頻統(tǒng)計的特征選擇評估函數(shù)，用于計算類內(nèi)類間文檔頻和詞頻統(tǒng)計值DFCTFS；
步驟3：依據(jù)所得原始特征空間，構(gòu)造一個特征詞、類別的二維矩陣，其中行代表特征詞，列代表類別，矩陣中的元素為DFCTFS值；
步驟4：依據(jù)訓練集各類別中各特征詞的DFCTFS值，對訓練集每個類別中的特征詞進行降序排列；
步驟5：獲得訓練集中總類別數(shù)M以及訓練集中特征詞的總個數(shù)N，取一定比例的特征詞，記為numWords，則各類別中選擇的特征詞個數(shù)num為numWords除以M；
步驟6：訓練集各類別中都依據(jù)步驟5中所得num值，選取該類別中按DFCTFS值降序排列后的前num個的特征詞組成該類別的特征詞庫；
步驟7：得到訓練集的特征詞庫，即為各類別所得特征詞庫的并集。
2.根據(jù)權(quán)利要求1所述的基于類內(nèi)類間文檔頻和詞頻統(tǒng)計的特征選擇方法，其特征在于，步驟2中所述基于類內(nèi)類間文檔頻和詞頻統(tǒng)計的特征選擇評估函數(shù)為：
式中，DFCTFS(tk,Ci)表示特征詞tk在類別Ci中的類內(nèi)類間文檔頻和詞頻統(tǒng)計值DFCTFS，DF(tk,Ci)表示特征詞tk在類別Ci中出現(xiàn)的文本數(shù)，DF(tk)表示特征詞tk在訓練集所有類別中出現(xiàn)的文本數(shù)總和，DF(t,Ci)表示類別Ci中所有特征詞出現(xiàn)的文本數(shù)的總和，TF(tk,Ci)表示特征詞tk在類別Ci中出現(xiàn)的次數(shù)，numDocsi表示類別Ci的文本數(shù)，M表示類別數(shù)。
3.根據(jù)權(quán)利要求1所述的基于類內(nèi)類間文檔頻和詞頻統(tǒng)計的特征選擇方法，其特征在于，步驟3的具體實現(xiàn)包括以下步驟：
步驟3.1：針對訓練集中的各個類別，統(tǒng)計特征詞tk在第Ci類別中出現(xiàn)的文本數(shù)DF(tk,Ci)和次數(shù)TF(tk,Ci)；其中，k＝1...N，N為特征詞總數(shù)；i＝1...M，M為類別數(shù)；
步驟3.2：根據(jù)tk，Ci定位到二維矩陣相應(yīng)位置，利用基于類內(nèi)類間文檔頻和詞頻統(tǒng)計的特征選擇評估函數(shù)，計算Ci類別的特征詞tk的DFCTFS值，從而構(gòu)造出訓練集的特征詞、類別的N*M的二維矩陣。
4.根據(jù)權(quán)利要求1-3任意一項所述的基于類內(nèi)類間文檔頻和詞頻統(tǒng)計的特征選擇方法，其特征在于，所述特征選擇方法的有效性評估，包括以下步驟：
步驟8：建立文本表示模型；
根據(jù)特征詞庫，計算訓練集中每篇文本對應(yīng)的特征詞的權(quán)重，將訓練集向量化后形成一個二維矩陣，每一行代表一篇文本，每一列代表特征詞庫中的一個特征詞；
步驟9：使用分類算法分類；對訓練集使用分類算法進行分類器訓練，得到分類模型；
步驟10：分類器性能評估；
針對測試集，經(jīng)過分詞、去停用詞后由詞項表示，并計算測試集中每篇文本對應(yīng)的特征詞的權(quán)重，將測試集向量化后形成一個二維矩陣，每一行代表一篇文本，每一列代表特征詞庫中的一個特征詞；
利用訓練得到的分類模型，對測試集進行分類，利用召回率、準確率、F1值，實現(xiàn)對分類器的性能評價。
該專利技術(shù)資料僅供研究查看技術(shù)是否侵權(quán)等信息，商用須獲得專利權(quán)人授權(quán)。該專利全部權(quán)利屬于湖北工業(yè)大學，未經(jīng)湖北工業(yè)大學許可，擅自商用是侵權(quán)行為。如果您想購買此專利、獲得商業(yè)授權(quán)和技術(shù)合作，請聯(lián)系【客服】
本文鏈接：http://www.szxzyx.cn/pat/books/201810131876.8/1.html，轉(zhuǎn)載請聲明來源鉆瓜專利網(wǎng)。
