[發(fā)明專利]天城文分詞和識(shí)別方法、裝置、電子設(shè)備和存儲(chǔ)介質(zhì)

在審

• 申請(qǐng)?zhí)枺?/td>: 202111580309.9
• 申請(qǐng)日: 2021-12-22
• 公開（公告）號(hào): CN114254638A
• 公開（公告）日: 2022-03-29
• 發(fā)明（設(shè)計(jì)）人: 黃一琦;趙坤;楊爭(zhēng)艷;吳嘉嘉
• 申請(qǐng)（專利權(quán)）人: 科大訊飛股份有限公司
• 主分類號(hào): G06F40/289
• 分類號(hào): G06F40/289;G06V30/148;G06F16/35
• 代理公司: 北京路浩知識(shí)產(chǎn)權(quán)代理有限公司 11002
• 代理人: 郭亮

本發(fā)明提供一種天城文分詞和識(shí)別方法、裝置、電子設(shè)備和存儲(chǔ)介質(zhì)，其中分詞方法包括：獲取待分詞的天城文文本的字符序列；基于所述字符序列中當(dāng)前字符的類型以及所述當(dāng)前字符之后的字符的類型，對(duì)所述當(dāng)前字符及其之后的字符進(jìn)行分詞，并將分詞所得子詞中的最尾字符在所述字符序列中的下個(gè)字符更新為當(dāng)前字符進(jìn)行分詞，直至分詞完成。本發(fā)明實(shí)施例提供的天城文分詞和識(shí)別方法、裝置、電子設(shè)備和存儲(chǔ)介質(zhì)，在分析整理了基礎(chǔ)單元結(jié)構(gòu)的基礎(chǔ)上，提出了適合天城文語言結(jié)構(gòu)特性的分詞規(guī)則，既考慮當(dāng)前字符的類型，也考慮當(dāng)前字符之后的字符的類型，由此確定字符序列中一段字符的語言結(jié)構(gòu)，據(jù)此進(jìn)行分詞。

技術(shù)領(lǐng)域

本發(fā)明涉及文本識(shí)別技術(shù)領(lǐng)域，尤其涉及一種天城文分詞和識(shí)別方法、裝置、電子設(shè)備和存儲(chǔ)介質(zhì)。

背景技術(shù)

多語種文本識(shí)別對(duì)于人類之間和人機(jī)之間信息溝通無障礙具有重要的支撐作用。文本識(shí)別技術(shù)一般需要通過分詞得到詞表，借助詞表來對(duì)句子進(jìn)行表示。

現(xiàn)有技術(shù)中，分詞方法主要是針對(duì)英語或中文語種，其文本句子大多是以單詞為單位，且字形結(jié)構(gòu)規(guī)整沒有復(fù)合書寫、連寫等現(xiàn)象。

然而，印地語屬于元音附標(biāo)型文字，采用天城文書寫。其字符間粘連程度較為普遍，且元音、輔音之間有不同的復(fù)合書寫規(guī)則，導(dǎo)致其字形結(jié)構(gòu)比較多變。現(xiàn)有的分詞方法并不適用于印地語場(chǎng)景，導(dǎo)致印地語文本識(shí)別準(zhǔn)確率不高。

發(fā)明內(nèi)容

本發(fā)明提供一種天城文分詞和識(shí)別方法、裝置、電子設(shè)備和存儲(chǔ)介質(zhì)，用以解決現(xiàn)有技術(shù)中的分詞方法不適用于印地語，導(dǎo)致印地語文本識(shí)別準(zhǔn)確率不高的缺陷。

本發(fā)明提供一種天城文分詞方法，包括：

獲取待分詞的天城文文本的字符序列；

基于所述字符序列中當(dāng)前字符的類型，以及所述當(dāng)前字符之后的字符的類型，對(duì)所述當(dāng)前字符及其之后的字符進(jìn)行分詞，并將分詞所得子詞中的最尾字符在所述字符序列中的下個(gè)字符更新為當(dāng)前字符進(jìn)行分詞，直至分詞完成。

根據(jù)本發(fā)明提供的一種天城文分詞方法，所述基于所述字符序列中當(dāng)前字符的類型，以及所述當(dāng)前字符之后的字符的類型，對(duì)所述當(dāng)前字符及其之后的字符進(jìn)行分詞，包括：

若所述字符序列中當(dāng)前字符的類型為輔音，且所述當(dāng)前字符之后首字符的類型為非空字符，則將所述當(dāng)前字符及其之后的首字符合寫為一個(gè)子詞，所述非空字符為輔音和元音消除符之外的字符。

根據(jù)本發(fā)明提供的一種天城文分詞方法，所述基于所述字符序列中當(dāng)前字符的類型，以及所述當(dāng)前字符之后的字符的類型，對(duì)所述當(dāng)前字符及其之后的字符進(jìn)行分詞，包括：

若所述字符序列中當(dāng)前字符的類型為輔音，且所述當(dāng)前字符之后首字符的類型為元音消除符，則將所述當(dāng)前字符及其之后的首字符按照元音消除符合寫結(jié)構(gòu)進(jìn)行合寫，并將合寫后的字符更新為所述當(dāng)前字符，并對(duì)所述當(dāng)前字符及其之后的字符進(jìn)行分詞。

根據(jù)本發(fā)明提供的一種天城文分詞方法，所述基于所述字符序列中當(dāng)前字符的類型，以及所述當(dāng)前字符之后的字符的類型，對(duì)所述當(dāng)前字符及其之后的字符進(jìn)行分詞，包括：

若所述字符序列中當(dāng)前字符的類型為輔音，且所述當(dāng)前字符之后首字符的類型為輔音，第二個(gè)字符的類型為元音消除符，則確定所述當(dāng)前字符的結(jié)構(gòu)；

若所述當(dāng)前字符的結(jié)構(gòu)為元音消除符合寫結(jié)構(gòu)，則將所述當(dāng)前字符及其之后的首字符和第二個(gè)字符合寫后更新為所述當(dāng)前字符，否則將所述當(dāng)前字符及其之后的首字符合寫為一個(gè)子詞。

根據(jù)本發(fā)明提供的一種天城文分詞方法，所述基于所述字符序列中當(dāng)前字符的類型，以及所述當(dāng)前字符之后的字符的類型，對(duì)所述當(dāng)前字符及其之后的字符進(jìn)行分詞，包括：

若所述字符序列中當(dāng)前字符的類型為輔音，且所述當(dāng)前字符之后首字符的類型為輔音，第二個(gè)字符的類型為元音，則將所述當(dāng)前字符及其之后的首字符合寫為一個(gè)子詞。