[發(fā)明專利]一種信息處理方法及裝置

有效

• 申請(qǐng)?zhí)枺?/td>: 201310574997.7
• 申請(qǐng)日: 2013-11-15
• 公開（公告）號(hào): CN103593338A
• 公開（公告）日: 2014-02-19
• 發(fā)明（設(shè)計(jì)）人: 賈高峰;龍江群;閆慧麗
• 申請(qǐng)（專利權(quán)）人: 北京銳安科技有限公司
• 主分類號(hào): G06F17/27
• 分類號(hào): G06F17/27;G06F17/30
• 代理公司: 北京品源專利代理有限公司 11332
• 代理人: 胡彬

技術(shù)領(lǐng)域

本發(fā)明涉及計(jì)算機(jī)技術(shù)，尤其涉及一種信息處理方法及裝置。

背景技術(shù)

信息處理技術(shù)中，中文分詞有著廣泛的應(yīng)用，如搜索引擎、文獻(xiàn)全文檢索、文檔自動(dòng)分類等。

中文分詞是將中文語句切分成中文詞集合的過程。中文語句是由漢字組成的，但是單個(gè)漢字基本不具備表達(dá)完整語義的功能，因此，要理解中文語句的語義，首先需要將漢字組成的中文語句拆分成中文詞集合。

目前，中文分詞方法主要是基于詞典匹配進(jìn)行分詞。這種方法是按照一定的策略將待分詞的文本與一個(gè)具有足夠數(shù)據(jù)量的詞典庫中的詞條進(jìn)行匹配，若在詞典中找到待分詞的文本中的漢字串，則匹配成功，并輸出所述漢字串。該項(xiàng)技術(shù)存在的主要缺陷是當(dāng)待分詞的文本中含有歧義詞時(shí)，根據(jù)詞典庫中的詞條來進(jìn)行分詞很容易出錯(cuò)。因此如何消解待分詞的文本中的歧義，是目前基于詞典匹配的中文分詞技術(shù)迫切需要解決的問題。

發(fā)明內(nèi)容

有鑒于此，本發(fā)明實(shí)施例提供了一種信息處理方法及裝置，來消除待分詞的文本中的歧義，提高信息處理的準(zhǔn)確率。

一方面，本發(fā)明實(shí)施例提供了一種信息處理方法，所述方法包括：

判斷待處理的文本中是否存在歧義詞；

當(dāng)所述待處理的文本中存在歧義詞時(shí)，從所述待處理的文本中拆分出歧義詞；

根據(jù)與所述拆分出的歧義詞對(duì)應(yīng)的分詞規(guī)則，對(duì)所述拆分出的歧義詞進(jìn)行拆分。

進(jìn)一步的，判斷待處理的文本中是否存在歧義詞，包括：

采用逆向最大匹配算法判斷所述待處理的文本中與歧義詞數(shù)據(jù)庫中是否有相同的詞；

當(dāng)所述待處理的文本中與歧義詞數(shù)據(jù)庫中有相同的詞時(shí)，所述待處理的文本中存在歧義詞；當(dāng)所述待處理的文本中與歧義詞數(shù)據(jù)庫中沒有相同的詞時(shí)，所述待處理的文本中不存在歧義詞。

進(jìn)一步的，判斷待處理的文本中是否存在歧義詞之前，還包括：

根據(jù)字符編碼、標(biāo)點(diǎn)符號(hào)、人名數(shù)據(jù)庫對(duì)接收的信息進(jìn)行拆分，得到所述待處理的文本；

通過正向最大匹配算法將所述待處理的文本與詞語數(shù)據(jù)庫、擴(kuò)展數(shù)據(jù)庫中的詞組匹配，得到第一種匹配結(jié)果；

通過逆向最大匹配算法將所述待處理的文本與詞語數(shù)據(jù)庫、擴(kuò)展數(shù)據(jù)庫中的詞組匹配，得到第二種匹配結(jié)果；

根據(jù)所述第一種匹配結(jié)果拆分所述待處理的文本，得到第一子文本集合，所述第一子文本集合包括多個(gè)子文本；

根據(jù)所述第二種匹配結(jié)果拆分所述待處理的文本，得到第二子文本集合，所述第二子文本集合包括多個(gè)子文本；

當(dāng)所述第一子文本集合與所述第二子文本集合不相同，且所述第一子文本集合和所述第二子文本集合中具有相同字?jǐn)?shù)的子文本的數(shù)量相同，且所述第一子文本集合中子文本的數(shù)量等于所述第二子文本集合中子文本的數(shù)量時(shí)，將所述第一子文本集合作為所述待處理文本的拆分結(jié)果，并觸發(fā)所述判斷待處理的文本中是否存在歧義詞。

進(jìn)一步的，根據(jù)與所述拆分出的歧義詞對(duì)應(yīng)的分詞規(guī)則，對(duì)所述拆分出的歧義詞進(jìn)行拆分之后，還包括：

合并所述拆分結(jié)果及對(duì)所述拆分出的歧義詞進(jìn)行拆分后得到的結(jié)果，得到分詞集合，所述分詞集合中的分詞按照在所述待處理的文本中的位置排列；

當(dāng)所述分詞集合中含有連續(xù)的單字時(shí)，根據(jù)低概率單字?jǐn)?shù)據(jù)庫判斷所述連續(xù)的單字中是否含有低概率單字，如果是，則將所述低概率單字左邊的連續(xù)單字合成為一個(gè)詞，所述低概率單字右邊的連續(xù)單字合成為一個(gè)詞。

進(jìn)一步的，將所述低概率單字左邊的連續(xù)單字合成為一個(gè)詞，所述低概率單字右邊的連續(xù)單字合成為一個(gè)詞之后，還包括：

判斷合成的詞中是否存在長度大于預(yù)設(shè)值的詞，如果存在，則將所述長度大于預(yù)設(shè)值的詞添加到人工識(shí)別數(shù)據(jù)庫；

從所述人工識(shí)別數(shù)據(jù)庫中篩選出符合預(yù)設(shè)篩選條件的詞；

將篩選出的詞添加到所述擴(kuò)展數(shù)據(jù)庫。

另一方方面，本發(fā)明實(shí)施例提供了一種信息處理裝置，所述裝置包括：

第一判斷單元，用于判斷待處理的文本中是否存在歧義詞；

第一拆分單元，用于當(dāng)所述第一判斷單元判斷出所述待處理的文本中存在歧義詞時(shí)，從所述待處理的文本中拆分出歧義詞；

第二拆分單元，用于根據(jù)與所述第一拆分單元拆分出的歧義詞對(duì)應(yīng)的分詞規(guī)則，對(duì)所述拆分出的歧義詞進(jìn)行拆分。

進(jìn)一步的，所述第一判斷單元具體用于：

采用逆向最大匹配算法判斷所述待處理的文本中與歧義詞數(shù)據(jù)庫中是否有相同的詞；