[發(fā)明專利]基于文本編碼識(shí)別的熱點(diǎn)信息采集方法和裝置

有效

• 申請(qǐng)?zhí)枺?/td>: 201710267663.3
• 申請(qǐng)日: 2017-04-21
• 公開(kāi)（公告）號(hào): CN107133201B
• 公開(kāi)（公告）日: 2021-03-16
• 發(fā)明（設(shè)計(jì)）人: 符曉;楊風(fēng)雷;李沙沙
• 申請(qǐng)（專利權(quán)）人: 東莞中國(guó)科學(xué)院云計(jì)算產(chǎn)業(yè)技術(shù)創(chuàng)新與育成中心
• 主分類號(hào): G06F40/126
• 分類號(hào): G06F40/126;G06F16/33;G06F16/903
• 代理公司: 廣州華進(jìn)聯(lián)合專利商標(biāo)代理有限公司 44224
• 代理人: 舒丁

1.一種基于文本編碼識(shí)別的熱點(diǎn)信息采集方法，其特征在于，所述方法包括：

獲取待識(shí)別文本，確定所述待識(shí)別文本對(duì)應(yīng)的多個(gè)編碼種類；

從所述待識(shí)別文本中提取字符串，根據(jù)所述多個(gè)編碼種類分別對(duì)所述字符串進(jìn)行編碼，生成與每個(gè)編碼種類對(duì)應(yīng)的字符串編碼結(jié)果；

將每個(gè)所述字符串編碼結(jié)果與預(yù)設(shè)樣本庫(kù)中的字符進(jìn)行匹配，得到匹配字符的數(shù)量，按照匹配字符的數(shù)量對(duì)所述多個(gè)編碼種類進(jìn)行第一次排序；

將每個(gè)所述字符串編碼結(jié)果與預(yù)設(shè)全字符庫(kù)中的字符進(jìn)行匹配，得到匹配字符的數(shù)量，按照匹配字符的數(shù)量對(duì)所述多個(gè)編碼種類進(jìn)行第二次排序；

根據(jù)所述多個(gè)編碼種類分別對(duì)所述待識(shí)別文本進(jìn)行編碼，生成與每個(gè)編碼種類對(duì)應(yīng)的文本編碼結(jié)果；

將每個(gè)所述文本編碼結(jié)果與所述預(yù)設(shè)全字符庫(kù)中的字符進(jìn)行匹配，得到匹配字符的數(shù)量，按照匹配字符的數(shù)量對(duì)所述多個(gè)編碼種類進(jìn)行第三次排序；

獲取第三次排序后所述多個(gè)編碼種類對(duì)應(yīng)的匹配字符數(shù)量最多的編碼種類，根據(jù)所述匹配字符數(shù)量最多的編碼種類對(duì)所述待識(shí)別文本進(jìn)行編碼；

提取多個(gè)經(jīng)過(guò)編碼后的待識(shí)別文本所包含的主題相同的信息；

檢測(cè)所述主題相同的信息的熱度值是否達(dá)到預(yù)設(shè)閾值，若是，則

確定所述主題相同的信息為熱點(diǎn)信息。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述獲取待識(shí)別文本的步驟之后，還包括：

判斷所述待識(shí)別文本是否存在字節(jié)順序標(biāo)記，若否，則進(jìn)入確定所述待識(shí)別文本對(duì)應(yīng)的多個(gè)編碼種類的步驟；

若所述待識(shí)別文本存在字節(jié)順序標(biāo)記，則根據(jù)所述字節(jié)順序標(biāo)記確定所述待識(shí)別文本的編碼種類；

根據(jù)字節(jié)順序標(biāo)記確定的編碼種類對(duì)所述待識(shí)別文本進(jìn)行編碼。

3.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述獲取第三次排序后所述多個(gè)編碼種類對(duì)應(yīng)的匹配字符數(shù)量最多的編碼種類，根據(jù)所述匹配字符數(shù)量最多的編碼種類對(duì)所述待識(shí)別文本進(jìn)行編碼，包括：

獲取第三次排序后的多個(gè)編碼種類中匹配字符數(shù)量最多的編碼種類對(duì)應(yīng)的文本編碼結(jié)果；

獲取所述文本編碼結(jié)果與所述預(yù)設(shè)全字符庫(kù)中的字符進(jìn)行匹配得到的匹配字符的數(shù)量；

判斷所述匹配字符的數(shù)量占所述待識(shí)別文本字符數(shù)量的比例是否超過(guò)預(yù)設(shè)的閾值，若是，則

確定所述多個(gè)編碼種類對(duì)應(yīng)的匹配字符數(shù)量最多的編碼種類為所述待識(shí)別文本的編碼種類；

根據(jù)確定的編碼種類對(duì)所述待識(shí)別文本進(jìn)行編碼。

4.根據(jù)權(quán)利要求1所述的方法，其特征在于，在所述獲取待識(shí)別文本，確定所述待識(shí)別文本對(duì)應(yīng)的多個(gè)編碼種類的步驟之后，還包括：

從所述待識(shí)別文本中提取字符串，檢測(cè)所述字符串是否超出所述多個(gè)編碼種類中的任意一個(gè)編碼種類的范圍，若是，則

將超出范圍的編碼種類從所述多個(gè)編碼種類中刪除。

5.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述待識(shí)別文本是任意語(yǔ)言及任意編碼種類的文字組成的文本。

6.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述提取多個(gè)經(jīng)過(guò)編碼后的待識(shí)別文本所包含的主題相同的信息包括：

采用關(guān)鍵詞法、主題詞法、正向最大匹配值法、逆向最大匹配值法或雙向最大匹配值法，提取多個(gè)經(jīng)過(guò)編碼后的待識(shí)別文本所包含的主題相同的信息。