[發(fā)明專利]文本識(shí)別方法、拼寫(xiě)糾錯(cuò)方法及語(yǔ)音識(shí)別方法

在審

• 申請(qǐng)?zhí)枺?/td>: 201910632996.0
• 申請(qǐng)日: 2019-07-12
• 公開(kāi)（公告）號(hào): CN112287100A
• 公開(kāi)（公告）日: 2021-01-29
• 發(fā)明（設(shè)計(jì)）人: 高喆;蔣卓人;康楊楊;孫常龍;張瓊;司羅
• 申請(qǐng)（專利權(quán)）人: 阿里巴巴集團(tuán)控股有限公司
• 主分類號(hào): G06F16/35
• 分類號(hào): G06F16/35;G06F40/30;H04W4/14
• 代理公司: 北京潤(rùn)澤恒知識(shí)產(chǎn)權(quán)代理有限公司 11319
• 代理人: 錢(qián)秀茹

本申請(qǐng)公開(kāi)了文本識(shí)別方法，拼寫(xiě)糾錯(cuò)方法及語(yǔ)音識(shí)別方法。其中，文本識(shí)別方法包括：獲取待識(shí)別文本；確定文本中各個(gè)字符的包括字本體語(yǔ)義信息和字變異語(yǔ)義信息的第一字向量；通過(guò)文本分類模型，至少根據(jù)第一字向量確定所述文本是否為垃圾文本。采用這種處理方式，使得基于類似打水漂的原理確定待識(shí)別文本中各個(gè)字符的第一字向量，由于確定第一字向量的水漂模型引入了漢字異構(gòu)圖，因此能夠捕捉字與字之間在語(yǔ)音、字形等類型的字變異方面的相似性，即：捕捉漢字音變和形變信息，基于此向量進(jìn)行垃圾文本識(shí)別，可識(shí)別出垃圾文本分類模型的訓(xùn)練數(shù)據(jù)中并不包括的垃圾文本模式，由此增強(qiáng)了變異文本的識(shí)別能力；因此，可以有效提升垃圾文本識(shí)別的召全率。

技術(shù)領(lǐng)域

本申請(qǐng)涉及文本分類技術(shù)領(lǐng)域，具體涉及文本識(shí)別方法。此外，本申請(qǐng)?zhí)峁┢磳?xiě)糾錯(cuò)方法，以及語(yǔ)音識(shí)別方法。

背景技術(shù)

一種典型的短信發(fā)送場(chǎng)景是，商家通過(guò)網(wǎng)絡(luò)平臺(tái)向消費(fèi)者發(fā)送短信，以便于將商品促銷等信息及時(shí)送至消費(fèi)者處，從而確保商家銷售計(jì)劃的有效實(shí)施，并提升用戶體驗(yàn)。然而，伴隨著這些有益效果的同時(shí)，也出現(xiàn)了大量垃圾短信。垃圾短信泛濫，已經(jīng)嚴(yán)重影響到消費(fèi)者正常生活、網(wǎng)絡(luò)平臺(tái)形象乃至社會(huì)穩(wěn)定。

隨著互聯(lián)網(wǎng)技術(shù)的不斷發(fā)展，越來(lái)越多的網(wǎng)絡(luò)平臺(tái)利用短信內(nèi)容安全系統(tǒng)對(duì)商對(duì)客(Business-to-Customer，B2C)的短信進(jìn)行內(nèi)容分析，并進(jìn)行智能短信攔截和通道優(yōu)化。其中，短信文本識(shí)別是短信內(nèi)容安全系統(tǒng)的一個(gè)重要功能，通過(guò)對(duì)垃圾短信進(jìn)行識(shí)別，可以有效地對(duì)短信的各個(gè)屬性維度進(jìn)行分析，從而合理地調(diào)度短信發(fā)送的通道，使得業(yè)務(wù)更加安全，并降低整個(gè)發(fā)送成本。

目前，常用的垃圾短信識(shí)別方法包括基于垃圾短信關(guān)鍵詞檢測(cè)模型或基于機(jī)器學(xué)習(xí)的短信分類模型進(jìn)行垃圾短信識(shí)別的方法。其中，關(guān)鍵字搜索技術(shù)需要一組預(yù)定義的垃圾文本關(guān)鍵字，其優(yōu)點(diǎn)是高效簡(jiǎn)單，容易實(shí)現(xiàn)。但其需要人工設(shè)計(jì)和審核，而且它的泛化能力差，容易導(dǎo)致較低的準(zhǔn)確率和召回率，在面對(duì)復(fù)雜的變異時(shí)會(huì)無(wú)效，如關(guān)鍵詞命中“裸聊”會(huì)攔截，但是遇到“果聊”則無(wú)能為力。基于機(jī)器學(xué)習(xí)的文本分類模型是一種數(shù)據(jù)驅(qū)動(dòng)的方法，一般來(lái)說(shuō)需要語(yǔ)料，如垃圾文本和非垃圾文本來(lái)訓(xùn)練模型。同樣地，數(shù)據(jù)驅(qū)動(dòng)的方法依賴訓(xùn)練數(shù)據(jù)中包含足夠多的變異模式來(lái)識(shí)別垃圾文本，當(dāng)訓(xùn)練數(shù)據(jù)包含的變異模式較少，即普通的垃圾文本較多時(shí)，其訓(xùn)練得到的模型遇到未覆蓋的變異垃圾文本則會(huì)表現(xiàn)較差。

綜上所述，如何設(shè)計(jì)出可以有效地識(shí)別出變異方式復(fù)雜的垃圾短信，成為本領(lǐng)域技術(shù)人員迫切需要解決的技術(shù)問(wèn)題。

發(fā)明內(nèi)容

本申請(qǐng)?zhí)峁┪谋咀R(shí)別方法，以解決現(xiàn)有技術(shù)存在的無(wú)法識(shí)別出變異方式復(fù)雜的垃圾文本的問(wèn)題。此外，本申請(qǐng)?zhí)峁┢磳?xiě)糾錯(cuò)方法，以及語(yǔ)音識(shí)別方法。

本申請(qǐng)?zhí)峁┮环N文本識(shí)別方法，包括：

獲取待識(shí)別文本；

確定所述文本中各個(gè)字符的包括字本體語(yǔ)義信息和字變異語(yǔ)義信息的第一字向量；

通過(guò)文本分類模型，至少根據(jù)所述第一字向量確定所述文本是否為垃圾文本。

可選的，所述通過(guò)文本分類模型，并至少根據(jù)所述第一字向量確定所述文本是否為垃圾文本，包括：

將所述第一字向量作為文本分類模型的輸入數(shù)據(jù)，通過(guò)所述文本分類模型判斷所述文本是否為垃圾文本。

可選的，所述通過(guò)文本分類模型，并至少根據(jù)所述第一字向量確定所述文本是否為垃圾文本，包括：

根據(jù)所述第一字向量和所述文本，確定所述各個(gè)字符的包括上下文語(yǔ)義信息的第二字向量；

將所述第二字向量作為文本分類模型的輸入數(shù)據(jù)，通過(guò)所述文本分類模型判斷所述文本是否為垃圾文本。

可選的，所述第一字向量采用如下步驟確定：