[發(fā)明專利]一種數(shù)據(jù)處理方法、裝置和電子設(shè)備

有效

• 申請(qǐng)?zhí)枺?/td>: 201811497640.2
• 申請(qǐng)日: 2018-12-07
• 公開（公告）號(hào): CN109887492B
• 公開（公告）日: 2021-02-12
• 發(fā)明（設(shè)計(jì)）人: 鄭宏
• 申請(qǐng)（專利權(quán)）人: 北京搜狗科技發(fā)展有限公司
• 主分類號(hào): G10L15/04
• 分類號(hào): G10L15/04;G10L15/26;G10L13/08;G06F40/117
• 代理公司: 北京潤(rùn)澤恒知識(shí)產(chǎn)權(quán)代理有限公司 11319
• 代理人: 莎日娜

本發(fā)明實(shí)施例提供了一種數(shù)據(jù)處理方法、裝置和電子設(shè)備，其中，所述方法包括：獲取當(dāng)前語音識(shí)別文本；將所述當(dāng)前語音識(shí)別文本和上N條輸出文本進(jìn)行拼接，得到拼接文本，其中，所述N為正整數(shù)；在所述拼接文本中添加標(biāo)點(diǎn)，從添加標(biāo)點(diǎn)的拼接文本中提取除所述上N條輸出文本之外的數(shù)據(jù)作為當(dāng)前輸出文本并輸出。本發(fā)明實(shí)施例可以通過結(jié)合停頓前后的兩條文本，確定停頓之前的文本末尾標(biāo)點(diǎn)，解決因?yàn)橥ｎD錯(cuò)加標(biāo)點(diǎn)的問題，從而提高添加標(biāo)點(diǎn)的準(zhǔn)確率。

技術(shù)領(lǐng)域

本發(fā)明涉及數(shù)據(jù)處理技術(shù)領(lǐng)域，特別是涉及一種數(shù)據(jù)處理方法、裝置和電子設(shè)備。

背景技術(shù)

人工智能包括十分廣泛的科學(xué)，由不同的領(lǐng)域組成，如機(jī)器學(xué)習(xí)，計(jì)算機(jī)視覺等等。總的說來，人工智能研究的一個(gè)主要目標(biāo)是使機(jī)器能夠勝任一些通常需要人類智能才能完成的復(fù)雜工作；自人工智能誕生以來，理論和技術(shù)日益成熟，應(yīng)用領(lǐng)域也不斷擴(kuò)大。如機(jī)器翻譯領(lǐng)域，例如將漢語翻譯成英語、將英語翻譯成漢語等等。

隨著機(jī)器翻譯技術(shù)不斷的成熟，基于機(jī)器的同傳翻譯應(yīng)運(yùn)而生，同傳翻譯可以包括：語音識(shí)別和機(jī)器翻譯，如圖1所示；其中，所述語音識(shí)別包括多個(gè)階段：獲取語音數(shù)據(jù)、VAD(Voice Activity Detection，語音端點(diǎn)檢測(cè))斷句、語音識(shí)別、文本斷句；其中，VAD斷句是根據(jù)靜音時(shí)間將語音切斷為多個(gè)語音片段，文本斷句是給各語音片段對(duì)應(yīng)的語音識(shí)別文本加上標(biāo)點(diǎn)符號(hào)，如語音識(shí)別文本“大家好我叫李磊”，然后給這句文本添加標(biāo)點(diǎn)符號(hào)如“大家好，我叫李磊”。

用戶在說沒有標(biāo)點(diǎn)的一句話的過程中，可能會(huì)停頓，例如用戶先說一句：“我們熱切期待著的”，然后停頓了一會(huì)再接著說：“這個(gè)新技術(shù)”；當(dāng)停頓時(shí)間超過閾值，這句話就會(huì)被分為多段；例如上述兩句話之間停頓了20ms，此時(shí)這一完整語句的語音會(huì)被切分為兩段語音片段：“我們熱切期待著的”對(duì)應(yīng)的語音片段和“這個(gè)新技術(shù)”對(duì)應(yīng)的語音片段。然后在為每個(gè)語音片段對(duì)應(yīng)的語音識(shí)別文本段添加標(biāo)點(diǎn)時(shí)，可能會(huì)給這一段末尾添加標(biāo)點(diǎn)，例如可能會(huì)“我們熱切期待著的”這句文本的末尾會(huì)添加句號(hào)，得到“我們熱切期待著的。”顯然“我們熱切期待著的”后面是不應(yīng)該添加標(biāo)點(diǎn)符號(hào)的，導(dǎo)致標(biāo)點(diǎn)添加錯(cuò)誤。

發(fā)明內(nèi)容

本發(fā)明實(shí)施例提供一種數(shù)據(jù)處理方法，以提高添加標(biāo)點(diǎn)的準(zhǔn)確率。

相應(yīng)的，本發(fā)明實(shí)施例還提供了一種數(shù)據(jù)處理裝置和一種電子設(shè)備，用以保證上述方法的實(shí)現(xiàn)及應(yīng)用。

為了解決上述問題，本發(fā)明實(shí)施例公開了一種數(shù)據(jù)處理方法，具體包括：獲取當(dāng)前語音識(shí)別文本；將所述當(dāng)前語音識(shí)別文本和上N條輸出文本進(jìn)行拼接，得到拼接文本，其中，所述N為正整數(shù)；在所述拼接文本中添加標(biāo)點(diǎn)，從添加標(biāo)點(diǎn)的拼接文本中提取除所述上N條輸出文本之外的數(shù)據(jù)作為當(dāng)前輸出文本并輸出。

可選地，所述在所述拼接文本中添加標(biāo)點(diǎn)，包括：對(duì)所述拼接文本進(jìn)行分詞處理，得到對(duì)應(yīng)的多個(gè)分詞片段；依據(jù)符號(hào)匹配模型，確定各分詞片段對(duì)應(yīng)的符號(hào)標(biāo)識(shí)；若所述分詞片段的符號(hào)標(biāo)識(shí)是設(shè)定標(biāo)識(shí)，則在所述拼接文本中所述分詞片段對(duì)應(yīng)文字之后添加所述符號(hào)標(biāo)識(shí)。

可選地，所述符號(hào)匹配模型包括第一符號(hào)匹配模型和第二符號(hào)匹配模型，所述依據(jù)符號(hào)匹配模型，確定各分詞片段對(duì)應(yīng)的符號(hào)標(biāo)識(shí)，包括：依次將各分詞片段輸入至所述第一符號(hào)匹配模型中，得到各分詞片段對(duì)應(yīng)各符號(hào)標(biāo)識(shí)的第一概率信息；依次將各分詞片段輸入至所述第二符號(hào)匹配模型中，得到各分詞片段對(duì)應(yīng)各符號(hào)標(biāo)識(shí)的第二概率信息；針對(duì)一個(gè)分詞片段，依據(jù)所述分詞片段對(duì)應(yīng)各符號(hào)標(biāo)識(shí)的第一概率信息和第二概率信息，確定所述分詞片段對(duì)應(yīng)的符號(hào)標(biāo)識(shí)。

可選地，所述依據(jù)所述分詞片段對(duì)應(yīng)各符號(hào)標(biāo)識(shí)的第一概率信息和第二概率信息，確定所述分詞片段對(duì)應(yīng)的符號(hào)標(biāo)識(shí)，包括：依據(jù)所述分詞片段對(duì)應(yīng)各符號(hào)標(biāo)識(shí)的第一概率信息，計(jì)算第一方差信息；依據(jù)所述分詞片段對(duì)應(yīng)各符號(hào)標(biāo)識(shí)的第二概率信息，計(jì)算第二方差信息；若所述第一方差信息大于第二方差信息，則選取第一概率信息最大的符號(hào)標(biāo)識(shí)作為所述分詞片段對(duì)應(yīng)的符號(hào)標(biāo)識(shí)；若所述第二方差信息大于第一方差信息，則選取第二概率信息最大的符號(hào)標(biāo)識(shí)作為所述分詞片段對(duì)應(yīng)的符號(hào)標(biāo)識(shí)。