[發(fā)明專利]一種實(shí)現(xiàn)文本分析的方法、裝置、計(jì)算機(jī)存儲介質(zhì)及終端

在審

• 申請?zhí)枺?/td>: 201911346811.6
• 申請日: 2019-12-24
• 公開（公告）號: CN111160015A
• 公開（公告）日: 2020-05-15
• 發(fā)明（設(shè)計(jì)）人: 崔小波;陳奇寧
• 申請（專利權(quán)）人: 北京明略軟件系統(tǒng)有限公司
• 主分類號: G06F40/263
• 分類號: G06F40/263;G06F40/242
• 代理公司: 北京安信方達(dá)知識產(chǎn)權(quán)代理有限公司 11262
• 代理人: 王康;栗若木

1.一種實(shí)現(xiàn)文本分析的方法，包括：

將待分析文本與兩種或兩種以上語言字典進(jìn)行比對，獲得待分析文本中包含的各種文字的比例；

根據(jù)獲得的待分析文本中包含的各種文字的比例，確定待分析文本的所屬語言類型。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述語言字典包括一項(xiàng)或任意組合的字典：

繁體字字典、越南語字母字典、特殊字符字典和粵語字典。

3.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述將待分析文本與兩種或兩種以上語言字典進(jìn)行比對之前，所述方法還包括：對所述待分析文本進(jìn)行以下一項(xiàng)或任意組合的處理：

過濾亂碼；過濾特殊字符；過濾網(wǎng)址；過濾圖片鏈接。

4.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述將待分析文本與兩種或兩種以上語言字典進(jìn)行比對，包括：

所述待分析文本的字符數(shù)小于或等于預(yù)設(shè)字符數(shù)時(shí)，將所述待分析文本與各所述語言字典進(jìn)行比對；

所述待分析文本的字符數(shù)大于所述預(yù)設(shè)字符數(shù)時(shí)，按照預(yù)設(shè)策略從所述待分析文本中獲取預(yù)設(shè)長度的抽樣文本，將獲取的抽樣文本與所述語言字典進(jìn)行比對。

5.根據(jù)權(quán)利要求1～4任一項(xiàng)所述的方法，其特征在于，所述確定待分析文本的所屬語言類型，包括：

通過預(yù)設(shè)的比例閾值參數(shù)對獲得的所述待分析文本中包含的各種文字的比例進(jìn)行分析，并根據(jù)分析的結(jié)果確定所述待分析文本的所屬語言類型。

6.根據(jù)權(quán)利要求5所述的方法，其特征在于，所述語言字典包括繁體字字典、越南語字母字典、特殊字符字典及粵語字典，所述比例閾值參數(shù)包括第一百分比閾值、第一字符數(shù)閾值、第二字符數(shù)閾值及第二百分比閾值，所述確定待分析文本的所屬語言類型，包括：

所述待分析文本中英文字符數(shù)與比對字符總數(shù)的比值大于第一百分比閾值時(shí)，確定除英文字符外的其它種字符中字符數(shù)最多的字符；確定該字符數(shù)最多的字符的字符數(shù)是否大于所述第一字符數(shù)閾值；該字符數(shù)最多的字符的字符數(shù)大于所述第一字符數(shù)閾值時(shí)，確定該字符數(shù)最多的字符的語言類型為所述待分析文本的所屬語言類型；該字符數(shù)最多的字符的字符數(shù)小于或等于所述第一字符數(shù)閾值時(shí)，確定所述待分析文本的所屬語言類型為英文；

所述待分析文本中英文字符數(shù)大于第二字符數(shù)閾值，且英文字符數(shù)和越南語字母字符數(shù)的和、與比對字符總數(shù)的比值大于第一百分比閾值時(shí)，確定除英文字符和越南語字符外的其它種字符中字符數(shù)最多的字符；確定該字符數(shù)最多的字符的字符數(shù)是否小于所述第一字符數(shù)閾值；該字符數(shù)最多的字符的字符數(shù)小于所述第一字符數(shù)閾值時(shí)，確定所述待分析文本的所屬語言類型為越南語；

所述待分析文本中英文字符數(shù)大于所述第二字符數(shù)閾值且英文字符數(shù)、粵語字符數(shù)及簡體中文字符數(shù)的和與比對字符總數(shù)的比值大于所述第一百分比閾值，且繁體中文字符數(shù)和簡體中文字符數(shù)相對所述比對字符總數(shù)的比值均小于所述第二百分比閾值時(shí)，確定所述待分析文本的所屬語言類型為粵語；

所述待分析文本中英文字符數(shù)大于所述第二字符數(shù)閾值，且英文字符數(shù)和簡體中文字符數(shù)的和、與比對字符總數(shù)的比值大于所述第一百分比閾值，簡體中文字符數(shù)相對所述比對字符總數(shù)的比值大于所述第二百分比閾值，且繁體中文字符數(shù)相對所述比對字符總數(shù)的比值小于所述第二百分比閾值時(shí)，確定所述待分析文本的所屬語言類型為簡體中文；

所述待分析文本中英文字符數(shù)大于所述第二字符數(shù)閾值，且英文字符數(shù)、繁體中文字符數(shù)及簡體中文字符數(shù)的和與比對字符總數(shù)的比值大于所述第一百分比閾值，且繁體中文字符數(shù)相對所述比對字符總數(shù)的比值大于所述第二百分比閾值時(shí)，確定所述待分析文本的所屬語言類型為繁體中文；

所述待分析文本中其它類型字符數(shù)與所述比對字符總數(shù)的比值大于所述第一百分比閾值時(shí)，確定所述待分析文本的所屬語言類型為其它；

所述待分析文本中英文字符數(shù)小于第二字符數(shù)閾值，確定除英文字符外的其它種字符中字符數(shù)最多的字符；確定該字符數(shù)最多的字符的字符數(shù)是否大于所述字符數(shù)閾值；該字符數(shù)最多的字符的字符數(shù)大于所述字符數(shù)閾值時(shí)，確定該字符數(shù)最多的字符的語言類型為所述待分析文本的所屬語言類型；該字符數(shù)最多的字符的字符數(shù)小于或等于所述字符數(shù)閾值時(shí)，確定所述待分析文本的所屬語言類型為其它；

其中，所述其它類型字符數(shù)包括：除英文字符、簡體中文字符、繁體中文字符、越南語字母字符及粵語字符以外的字符。