[發(fā)明專利]文本標(biāo)點(diǎn)恢復(fù)方法和裝置

在審

• 申請?zhí)枺?/td>: 202210271781.2
• 申請日: 2022-03-18
• 公開（公告）號: CN114626336A
• 公開（公告）日: 2022-06-14
• 發(fā)明（設(shè)計）人: 王正鍇;馬博聞;李志飛
• 申請（專利權(quán)）人: 上海墨百意信息科技有限公司
• 主分類號: G06F40/117
• 分類號: G06F40/117;G06F40/289;G06N3/04;G06N3/08
• 代理公司: 北京庚致知識產(chǎn)權(quán)代理事務(wù)所(特殊普通合伙) 11807
• 代理人: 李偉波

1.一種文本標(biāo)點(diǎn)恢復(fù)的方法，其特征在于，包括：

將待處理文本進(jìn)行預(yù)處理，以使得所述待處理文本符合標(biāo)點(diǎn)恢復(fù)模型的輸入數(shù)據(jù)格式；

將經(jīng)預(yù)處理后的待處理文本輸入至所述標(biāo)點(diǎn)恢復(fù)模型，通過標(biāo)點(diǎn)恢復(fù)模型進(jìn)行神經(jīng)元標(biāo)簽計算，以獲得文本標(biāo)記和標(biāo)點(diǎn)符號標(biāo)記；以及

根據(jù)所述文本標(biāo)記和標(biāo)點(diǎn)符號標(biāo)記，在所述待處理文本中插入對應(yīng)的標(biāo)點(diǎn)符號，得到帶標(biāo)點(diǎn)符號的文本；

其中，待處理文本的預(yù)處理，至少包括多待處理文本進(jìn)行分詞，將所述待處理文本轉(zhuǎn)換為分詞序列。

2.根據(jù)權(quán)利要求1所述的文本標(biāo)點(diǎn)恢復(fù)的方法，其特征在于，所述標(biāo)點(diǎn)恢復(fù)模型經(jīng)預(yù)先訓(xùn)練獲得，所述標(biāo)點(diǎn)恢復(fù)模型訓(xùn)練方法包括：

獲取訓(xùn)練數(shù)據(jù)；

對所述訓(xùn)練數(shù)據(jù)處理，包括：從所述訓(xùn)練數(shù)據(jù)中去除標(biāo)點(diǎn)及噪聲，所述噪聲包括用于標(biāo)識網(wǎng)頁標(biāo)簽的字符；

將所述訓(xùn)練數(shù)據(jù)進(jìn)行分詞，并將所述分詞序列轉(zhuǎn)換為字符級向量文本序列，所述字符級向量文本序列是通過字符級向量形成的序列，所述字符級向量表示構(gòu)成各個分詞的字符的向量；

對所述分詞序列中的詞添加詞性標(biāo)識，將所述訓(xùn)練數(shù)據(jù)轉(zhuǎn)換為具有詞性標(biāo)識的詞向量序列；

對經(jīng)分詞后的序列，進(jìn)行標(biāo)點(diǎn)符號標(biāo)注，得到對應(yīng)的標(biāo)點(diǎn)標(biāo)簽序列；

對經(jīng)分詞后的序列，進(jìn)行詞性標(biāo)注，得到對應(yīng)的詞性標(biāo)簽序列；以及

所述字符級向量文本序列和標(biāo)點(diǎn)標(biāo)簽序列、詞性標(biāo)簽序列分別一一對應(yīng)，將所述字符級向量文本序列、標(biāo)點(diǎn)標(biāo)簽序列、詞性標(biāo)簽序列構(gòu)成訓(xùn)練集輸入神經(jīng)訓(xùn)練恢復(fù)模型進(jìn)行訓(xùn)練，經(jīng)反復(fù)訓(xùn)練至滿足預(yù)設(shè)的訓(xùn)練指標(biāo)后，獲得所述標(biāo)點(diǎn)恢復(fù)模型。

3.根據(jù)權(quán)利要求2所述的文本標(biāo)點(diǎn)恢復(fù)的方法，其特征在于，所述標(biāo)點(diǎn)恢復(fù)模型的組成包括：

詞向量模型，接收待處理文本，將文本轉(zhuǎn)換為詞向量序列，其中，所述待處理文本在標(biāo)點(diǎn)恢復(fù)模型訓(xùn)練階段時為訓(xùn)練文本，所述待處理文本在通過標(biāo)點(diǎn)恢復(fù)模型進(jìn)行標(biāo)點(diǎn)恢復(fù)時為待標(biāo)識標(biāo)點(diǎn)的文本；

詞性標(biāo)簽嵌入模型，用于對輸入至標(biāo)點(diǎn)恢復(fù)模型的詞進(jìn)行詞性標(biāo)識；

雙向長短時記憶網(wǎng)絡(luò)模型，接收結(jié)合了詞性標(biāo)識的詞向量序列；

分類模型，用于輸出各個詞/字符后可能需要添加的標(biāo)點(diǎn)類型對應(yīng)的概率分布；以及

最大值輸出模型，用于輸出分類模型的最大概率值，通過最大概率值可得到對應(yīng)的標(biāo)點(diǎn)；

其中，各個所述模型的連接順序依次為詞向量模型、雙向長短時記憶網(wǎng)絡(luò)模型、分類模型、最大值輸出模型，所述詞性標(biāo)簽嵌入模型與所述詞向量模型連接，對待訓(xùn)練數(shù)據(jù)的分詞的詞性進(jìn)行標(biāo)注，進(jìn)而將詞性標(biāo)簽與詞向量模型的輸出結(jié)果進(jìn)行結(jié)合，以通過詞性對標(biāo)點(diǎn)的語義斷句產(chǎn)生影響。

4.根據(jù)權(quán)利要求3所述的文本標(biāo)點(diǎn)恢復(fù)的方法，其特征在于，所述標(biāo)點(diǎn)恢復(fù)模型還包括：

注意力模型，通過所述注意力模型將所述詞向量模型輸出的表示整個詞序列的詞向量與所述雙向長短時記憶網(wǎng)絡(luò)輸出的當(dāng)前局部詞的詞向量進(jìn)行注意力計算，以學(xué)習(xí)當(dāng)前局部詞與整個詞序列的相關(guān)性，包括當(dāng)前局部詞和其他所有詞的句意相關(guān)性信息，句意信息包括當(dāng)前局部詞在詞序列中所屬的句子成分、當(dāng)前局部詞在詞序列中的位置、當(dāng)前局部詞的詞性和當(dāng)前局部詞的上下文文本的語義信息。

5.一種文本標(biāo)點(diǎn)恢復(fù)的裝置，其特征在于，包括：

預(yù)處理模塊，將待處理文本進(jìn)行預(yù)處理，以使得所述待處理文本符合標(biāo)點(diǎn)恢復(fù)模型的輸入數(shù)據(jù)格式；

標(biāo)記獲取模塊，將經(jīng)預(yù)處理后的待處理文本輸入至所述標(biāo)點(diǎn)恢復(fù)模型，通過標(biāo)點(diǎn)恢復(fù)模型進(jìn)行神經(jīng)元標(biāo)簽計算，以獲得文本標(biāo)記和標(biāo)點(diǎn)符號標(biāo)記；以及

標(biāo)點(diǎn)插入模塊，根據(jù)所述文本標(biāo)記和標(biāo)點(diǎn)符號標(biāo)記，在所述待處理文本中插入對應(yīng)的標(biāo)點(diǎn)符號，得到帶標(biāo)點(diǎn)符號的文本；

其中，待處理文本的預(yù)處理，至少包括多待處理文本進(jìn)行分詞，將所述待處理文本轉(zhuǎn)換為分詞序列。