[發(fā)明專利]文本切分方法、裝置及計(jì)算機(jī)設(shè)備

有效

• 申請(qǐng)?zhí)枺?/td>: 202110895881.8
• 申請(qǐng)日: 2021-08-05
• 公開（公告）號(hào): CN113609860B
• 公開（公告）日: 2023-09-19
• 發(fā)明（設(shè)計(jì)）人: 劉勃;黃云峰;周冬梅;肖德凡
• 申請(qǐng)（專利權(quán)）人: 湖南特能博世科技有限公司
• 主分類號(hào): G06F40/295
• 分類號(hào): G06F40/295;G06F40/284;G06F40/205;G06F16/35;G06N20/00
• 代理公司: 北京超凡宏宇知識(shí)產(chǎn)權(quán)代理有限公司 11463
• 代理人: 梁韜

本發(fā)明實(shí)施例公開了一種文本切分方法、裝置及計(jì)算機(jī)設(shè)備，所述方法包括：接收待切分的文本；將所述文本輸入文本單元切分模型，輸出文本單元；判斷各文本單元的末尾字符類型；若文本單元的末尾字符類型為數(shù)詞，則將所述文本單元輸入量詞添加模型，在所述文本單元的末尾字符后添加量詞后作為一文本切分結(jié)果輸出；若文本單元的末尾字符類型不是數(shù)詞，則直接將所述文本單元作為一文本切分結(jié)果輸出。通過上述方法，能夠?qū)崿F(xiàn)對(duì)文本單元的精準(zhǔn)切分，對(duì)于省略量詞的文本單元也能進(jìn)行精準(zhǔn)識(shí)別；僅需要訓(xùn)練模型使其自動(dòng)進(jìn)行文本單元識(shí)別切分，無需設(shè)置復(fù)雜的規(guī)則對(duì)文本單元進(jìn)行切分，簡化了操作流程。

技術(shù)領(lǐng)域

本發(fā)明涉及文本處理領(lǐng)域，尤其涉及一種文本切分方法、裝置及計(jì)算機(jī)設(shè)備。

背景技術(shù)

在對(duì)工程量文本進(jìn)行識(shí)別處理時(shí)，最基礎(chǔ)的任務(wù)是將工程量文本中的包含物料及其用量的文本單元切分出來。現(xiàn)有的解決方案是構(gòu)造以數(shù)詞加量詞結(jié)尾的正則表達(dá)式匹配庫和排除庫，通過校驗(yàn)的方式來提取符合正則表達(dá)式規(guī)則的各個(gè)文本單元。

但是，基于正則表達(dá)式的方法無法實(shí)現(xiàn)文本單元精準(zhǔn)切分。其原因在于：一是由于規(guī)則庫的有限性，只能對(duì)符合規(guī)則庫中現(xiàn)有格式的文本單元進(jìn)行切分，不能對(duì)不符合規(guī)則庫格式的文本單元進(jìn)行切分；二是不能有效切分省略量詞的文本單元。

發(fā)明內(nèi)容

針對(duì)上述問題，本發(fā)明提出一種文本切分方法、裝置及計(jì)算機(jī)設(shè)備。

具體方案如下：

第一方面，本公開實(shí)施例提供了一種文本切分方法，所述方法包括：

接收待切分的文本；

將所述文本輸入文本單元切分模型，輸出文本單元，其中，所述文本單元包括同時(shí)包含物料名稱及物料用量的至少一個(gè)文本塊；

判斷各文本單元的末尾字符類型；

若文本單元的末尾字符類型為數(shù)詞，則將所述文本單元輸入量詞添加模型，在所述文本單元的末尾字符后添加量詞后作為一文本切分結(jié)果輸出；

若文本單元的末尾字符類型不是數(shù)詞，則直接將所述文本單元作為一文本切分結(jié)果輸出。

根據(jù)本公開的一種具體實(shí)施方式，所述文本單元切分模型包括文本單元切分機(jī)器學(xué)習(xí)模型和文本單元切分命名實(shí)體識(shí)別模型中任一種；

所述將所述文本輸入文本單元切分模型，輸出文本單元的步驟，包括：

將所述文本根據(jù)分隔符拆分為多個(gè)文本塊；

將多個(gè)所述文本塊依次輸入所述文本單元切分機(jī)器學(xué)習(xí)模型；

若當(dāng)前的文本塊同時(shí)包含物料名稱和物料用量，則將所述文本塊作為一文本單元輸出；

若當(dāng)前的文本塊不同時(shí)包含物料名稱和物料用量，則繼續(xù)輸入下一個(gè)文本塊，直至輸入的全部文本塊中累積包含物料名稱和物料用量，將全部文本塊組合為一文本單元輸出；

或者，所述將所述文本輸入文本單元切分模型，輸出文本單元的步驟，包括：

將所述文本輸入所述文本單元切分命名實(shí)體識(shí)別模型，對(duì)所述文本中的文本單元標(biāo)注標(biāo)簽；

根據(jù)所述文本中標(biāo)注的標(biāo)簽，將所述文本切分為文本單元并輸出。

根據(jù)本公開的一種具體實(shí)施方式，所述文本單元切分機(jī)器學(xué)習(xí)模型的訓(xùn)練過程，包括：

獲取第一樣本文本單元集和樣本文本塊集，其中，所述第一樣本文本單元集為同時(shí)包含物料名稱和物料用量的文本單元的集合，所述樣本文本塊集為不同時(shí)包含物料名稱或物料用量的文本塊的集合；