[發(fā)明專利]一種字符集檢測方法和裝置有效
| 申請?zhí)枺?/td> | 201610096192.X | 申請日： | 2016-02-22 |
| 公開（公告）號： | CN105760364B | 公開（公告）日： | 2018-09-04 |
| 發(fā)明（設(shè)計）人： | 徐佳宏;朱呂亮;陳棟 | 申請（專利權(quán)）人： | 深圳市茁壯網(wǎng)絡(luò)股份有限公司 |
| 主分類號： | G06F17/27 | 分類號： | G06F17/27 |
| 代理公司： | 深圳市深佳知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 44285 | 代理人： | 王仲凱 |
| 地址： | 518004 廣東省*** | 國省代碼： | 廣東;44 |
| 權(quán)利要求書： | 查看更多 | 說明書： | 查看更多 |
| 摘要： | |||
| 搜索關(guān)鍵詞： | 一種 字符集 檢測 方法 裝置 | ||
1.一種字符集檢測方法，其特征在于，包括：
接收到待處理字符集；
逐一從預(yù)先存儲的字符集類別集合中選取字符集類別；
基于所選取字符集類別所對應(yīng)的編碼規(guī)則對所述待處理字符集進(jìn)行解碼；
記錄解碼成功后的解碼結(jié)果；
對所述字符集類別集合中所有解碼成功后的字符集類別所對應(yīng)的解碼結(jié)果進(jìn)行分詞，獲取分詞結(jié)果；
基于所述分詞結(jié)果確定所述待處理字符集所屬的目標(biāo)字符集類別；
其中，所述基于所述分詞結(jié)果確定所述待處理字符集所屬的目標(biāo)字符集類別，包括：統(tǒng)計所述分詞結(jié)果中可分詞片段的字符數(shù)以及解碼后的總字符數(shù)；計算所述可分詞片段的字符數(shù)與所述解碼后的總字符數(shù)的比值，生成可分詞比；確定與所述可分詞比最大的字符集類別為所述待處理字符集所屬的目標(biāo)字符集類別；
或者，所述基于所述分詞結(jié)果確定所述待處理字符集所屬的目標(biāo)字符集類別，包括：統(tǒng)計所述分詞結(jié)果中可分詞片段的字符數(shù)；確定與所述可分詞片段的字符數(shù)最大的字符集類別為所述待處理字符集所屬的目標(biāo)字符集類別。
2.根據(jù)權(quán)利要求1所述的字符集檢測方法，其特征在于，所述對所述字符集類別集合中所有解碼成功后的字符集類別所對應(yīng)的解碼結(jié)果進(jìn)行分詞，獲取分詞結(jié)果，具體為：
基于預(yù)先存儲的詞庫，采用最大正向匹配法對所述字符集類別集合中所有解碼成功后的字符集類別所對應(yīng)的解碼結(jié)果進(jìn)行分詞。
3.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述接收到待處理字符集之后，還包括：
判斷所述待處理字符集中是否標(biāo)明有所述待處理字符集所屬字符集類別；
所述逐一從預(yù)先存儲的字符集類別集合中選取字符集類別，具體為：
在確定所述待處理字符集中未標(biāo)明有所述待處理字符集所屬字符集類別時，逐一從預(yù)先存儲的字符集類別集合中選取字符集類別。
4.一種字符集檢測裝置，其特征在于，包括：
第一接收單元，用于接收到待處理字符集；
第一選取單元，用于逐一從預(yù)先存儲的字符集類別集合中選取字符集類別；
第一解碼單元，用于基于所選取的字符集類別所對應(yīng)的編碼規(guī)則對所述待處理字符集進(jìn)行解碼；
第一記錄單元，用于記錄解碼成功后的解碼結(jié)果；
分詞獲取單元，用于對所述字符集類別集合中所有解碼成功后的字符集類別所對應(yīng)的解碼結(jié)果進(jìn)行分詞，獲取分詞結(jié)果；
確定類別單元，用于基于所述分詞結(jié)果確定所述待處理字符集所屬的目標(biāo)字符集類別；
其中，所述確定類別單元，包括：第一統(tǒng)計模塊，用于統(tǒng)計所述分詞結(jié)果中可分詞片段的字符數(shù)以及解碼后的總字符數(shù)；計算生成模塊，用于計算所述可分詞片段的字符數(shù)與所述解碼后的總字符數(shù)的比值，生成可分詞比；第一確定模塊，用于確定與所述可分詞比最大的字符集類別為所述待處理字符集所屬的目標(biāo)字符集類別；
或者，所述確定類別單元，包括：第二統(tǒng)計模塊，用于統(tǒng)計所述分詞結(jié)果中可分詞片段的字符數(shù)；第二確定模塊，用于確定與所述可分詞片段的字符數(shù)最大的字符集類別為所述待處理字符集所屬的目標(biāo)字符集類別。
5.根據(jù)權(quán)利要求4所述的字符集檢測裝置，其特征在于，所述分詞獲取單元，具體基于預(yù)先存儲的詞庫，采用最大正向匹配法對所述字符集類別集合中所有解碼成功后的字符集類別所對應(yīng)的解碼結(jié)果進(jìn)行分詞，獲取分詞結(jié)果。
6.根據(jù)權(quán)利要求4所述的字符集檢測裝置，其特征在于，該裝置還包括：
第一判斷單元，用于判斷所述待處理字符集中是否標(biāo)明有所述待處理字符集所屬字符集類別；
所述第一選取單元具體用于在確定所述待處理字符集中未標(biāo)明有所述待處理字符集所屬字符集類別時，逐一從預(yù)先存儲的字符集類別集合中選取字符集類別。
該專利技術(shù)資料僅供研究查看技術(shù)是否侵權(quán)等信息，商用須獲得專利權(quán)人授權(quán)。該專利全部權(quán)利屬于深圳市茁壯網(wǎng)絡(luò)股份有限公司，未經(jīng)深圳市茁壯網(wǎng)絡(luò)股份有限公司許可，擅自商用是侵權(quán)行為。如果您想購買此專利、獲得商業(yè)授權(quán)和技術(shù)合作，請聯(lián)系【客服】
本文鏈接：http://www.szxzyx.cn/pat/books/201610096192.X/1.html，轉(zhuǎn)載請聲明來源鉆瓜專利網(wǎng)。
