[發(fā)明專利]一種實(shí)現(xiàn)文本分析的方法、裝置、計(jì)算機(jī)存儲(chǔ)介質(zhì)及終端

在審

• 申請(qǐng)?zhí)枺?/td>: 201911346811.6
• 申請(qǐng)日: 2019-12-24
• 公開（公告）號(hào): CN111160015A
• 公開（公告）日: 2020-05-15
• 發(fā)明（設(shè)計(jì)）人: 崔小波;陳奇寧
• 申請(qǐng)（專利權(quán)）人: 北京明略軟件系統(tǒng)有限公司
• 主分類號(hào): G06F40/263
• 分類號(hào): G06F40/263;G06F40/242
• 代理公司: 北京安信方達(dá)知識(shí)產(chǎn)權(quán)代理有限公司 11262
• 代理人: 王康;栗若木

一種實(shí)現(xiàn)文本分析的方法、裝置、計(jì)算機(jī)存儲(chǔ)介質(zhì)及終端，包括：將待分析文本與兩種或兩種以上語言字典進(jìn)行比對(duì)，獲得待分析文本中包含的各種文字的比例；根據(jù)獲得的待分析文本中包含的各種文字的比例，確定待分析文本的所屬語言類型。本發(fā)明實(shí)施例通過語言詞典的比對(duì)分析，確定了待分析文本的所屬語言類型，為文本分析提供了技術(shù)支持。

技術(shù)領(lǐng)域

本文涉及但不限于信息分析技術(shù)，尤指一種實(shí)現(xiàn)文本分析的方法、裝置、計(jì)算機(jī)存儲(chǔ)介質(zhì)及終端。

背景技術(shù)

隨著信息基礎(chǔ)設(shè)施建設(shè)的日益完善，互聯(lián)網(wǎng)在人們?nèi)粘Ｉ钪凶兊脑絹碓街匾呀?jīng)深入到人們生產(chǎn)、生活的各個(gè)領(lǐng)域。“互聯(lián)網(wǎng)+”是互聯(lián)網(wǎng)的進(jìn)階，推動(dòng)了移動(dòng)互聯(lián)網(wǎng)、云計(jì)算、大數(shù)據(jù)、物聯(lián)網(wǎng)等與現(xiàn)代制造業(yè)相結(jié)合，促進(jìn)了電子商務(wù)、工業(yè)互聯(lián)網(wǎng)的發(fā)展。“互聯(lián)網(wǎng)+”不斷的改變著我們的生活方式，越來越多的個(gè)人、公司、企業(yè)、科研單位、機(jī)關(guān)、學(xué)校等通過網(wǎng)絡(luò)進(jìn)行科研成果交流或日常信息的交流。中國網(wǎng)民規(guī)模達(dá)8.02億，普及率為57.7％；中國手機(jī)網(wǎng)民規(guī)模達(dá)7.88億，網(wǎng)民通過手機(jī)接入互聯(lián)網(wǎng)的比例高達(dá)98.3％。伴隨著這些龐大的數(shù)字，網(wǎng)頁、電子郵件、聊天信息、各種文檔等帶來了海量的文本數(shù)據(jù)，這些海量的文本數(shù)據(jù)正是通過互聯(lián)網(wǎng)進(jìn)行生成、傳播、交換、存儲(chǔ)和訪問，進(jìn)入世界各地人們的日常生活中。

在互聯(lián)網(wǎng)帶來的海量文本數(shù)據(jù)中，語言多樣性帶來的問題特別值得關(guān)注。據(jù)調(diào)查數(shù)據(jù)顯示，全世界使用英語的網(wǎng)民占的比重最大，占到三成以上。據(jù)統(tǒng)計(jì)，世界上使用人數(shù)較多的語言有82種，這些語言中的任何一種都有超過1000萬人在使用，其它使用人數(shù)相對(duì)較少的語言更是多達(dá)數(shù)千種。在多種語言文字同時(shí)使用及存儲(chǔ)的情況下，面對(duì)互聯(lián)網(wǎng)上不斷產(chǎn)生的海量文本數(shù)據(jù)，在進(jìn)行自然語言處理時(shí)，需要知道該數(shù)據(jù)是那種自然語言的數(shù)據(jù)，才能確定后續(xù)使用哪種方式進(jìn)行信息的處理；例如，如果識(shí)別當(dāng)前為英文，則后續(xù)需要進(jìn)行分詞分析等操作時(shí)，會(huì)按照英文的類型進(jìn)行操作；如果識(shí)別的是中文，則后續(xù)需要進(jìn)行分詞分析等操作時(shí)，會(huì)按照中文的類型進(jìn)行操作。對(duì)中英文的操作是不同的，不能用同一種方式進(jìn)行操作分析，否則分析出來的結(jié)果很可能就會(huì)毫無意義。

目前，在進(jìn)行文本數(shù)據(jù)分析時(shí)，主要通過相關(guān)技術(shù)人員人為確定語言類型，這給信息處理帶來不便。設(shè)計(jì)實(shí)現(xiàn)一種語言類型識(shí)別的方法，成為一個(gè)亟待解決的技術(shù)問題。

發(fā)明內(nèi)容

以下是對(duì)本文詳細(xì)描述的主題的概述。本概述并非是為了限制權(quán)利要求的保護(hù)范圍。

本發(fā)明實(shí)施例提供一種實(shí)現(xiàn)文本分析的方法、裝置、計(jì)算機(jī)存儲(chǔ)介質(zhì)及終端，能夠?qū)崿F(xiàn)語言類型的識(shí)別。

本發(fā)明實(shí)施例提供了一種實(shí)現(xiàn)文本分析的方法，包括：

將待分析文本與兩種或兩種以上語言字典進(jìn)行比對(duì)，獲得待分析文本中包含的各種文字的比例；

根據(jù)獲得的待分析文本中包含的各種文字的比例，確定待分析文本的所屬語言類型。

在一種示例性實(shí)施例中，所述語言字典包括一項(xiàng)或任意組合的字典：

繁體字字典、越南語字母字典、特殊字符字典和粵語字典。

在一種示例性實(shí)施例中，所述將待分析文本與兩種或兩種以上語言字典進(jìn)行比對(duì)之前，所述方法還包括：對(duì)所述待分析文本進(jìn)行以下一項(xiàng)或任意組合的處理：

過濾亂碼；

過濾特殊字符；

過濾網(wǎng)址；

過濾圖片鏈接。

在一種示例性實(shí)施例中，所述將待分析文本與兩種或兩種以上語言字典進(jìn)行比對(duì)，包括：

所述待分析文本的字符數(shù)小于或等于預(yù)設(shè)字符數(shù)時(shí)，將所述待分析文本與各所述語言字典進(jìn)行比對(duì)；