[發(fā)明專利]長(zhǎng)文本分割方法、裝置、電子設(shè)備及計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)

在審

• 申請(qǐng)?zhí)枺?/td>: 202310615008.8
• 申請(qǐng)日: 2023-05-29
• 公開(kāi)（公告）號(hào): CN116629251A
• 公開(kāi)（公告）日: 2023-08-22
• 發(fā)明（設(shè)計(jì)）人: 舒暢;肖京;陳又新
• 申請(qǐng)（專利權(quán)）人: 平安科技（深圳）有限公司
• 主分類號(hào): G06F40/284
• 分類號(hào): G06F40/284;G06F40/30;G06N3/0442;G06V20/40
• 代理公司: 深圳市沃德知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 44347
• 代理人: 范臘梅

本發(fā)明涉及機(jī)器學(xué)習(xí)領(lǐng)域，揭露一種長(zhǎng)文本分割方法，包括：生成待分割長(zhǎng)文本的句向量序列，提取與自適應(yīng)滑窗大小相同數(shù)量的句向量作為目標(biāo)分割單元，依次計(jì)算目標(biāo)分割單元中相鄰的句向量之間的語(yǔ)義特征距離，當(dāng)存在語(yǔ)義特征距離不小于預(yù)設(shè)的距離閾值時(shí)，生成對(duì)應(yīng)句向量的語(yǔ)義斷點(diǎn)標(biāo)簽，將語(yǔ)義斷點(diǎn)標(biāo)簽前的句向量及語(yǔ)義斷點(diǎn)標(biāo)簽對(duì)應(yīng)的句向量組成語(yǔ)義段落，從句向量序列中剔除語(yǔ)義段落對(duì)應(yīng)的句向量，并根據(jù)自適應(yīng)滑窗大小從句向量序列中提取新的目標(biāo)分割單元進(jìn)行分割，當(dāng)句向量序列為空時(shí)，匯集每個(gè)語(yǔ)義段落得到待分割長(zhǎng)文本的分割后的文本。本發(fā)明還提出一種長(zhǎng)文本分割裝置、設(shè)備及介質(zhì)。本發(fā)明可以提升金融培訓(xùn)視頻對(duì)應(yīng)的長(zhǎng)文本分割的準(zhǔn)確性。

技術(shù)領(lǐng)域

本發(fā)明涉及機(jī)器學(xué)習(xí)技術(shù)領(lǐng)域，尤其涉及一種長(zhǎng)文本分割方法、裝置、電子設(shè)備及計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)。

背景技術(shù)

隨著社會(huì)經(jīng)濟(jì)的蓬勃發(fā)展，越來(lái)越多的人希望了解和學(xué)習(xí)更多的金融知識(shí)，相應(yīng)的金融培訓(xùn)視頻應(yīng)運(yùn)而生。通過(guò)金融培訓(xùn)視頻，人們可以快速直觀的獲取相關(guān)的金融知識(shí)，但是，金融培訓(xùn)視頻與金融培訓(xùn)文本或書(shū)籍相比較，不便于進(jìn)行金融知識(shí)的系統(tǒng)性總結(jié)和積累。因此，產(chǎn)生了將相應(yīng)的金融培訓(xùn)視頻轉(zhuǎn)換成對(duì)應(yīng)的金融培訓(xùn)文本的訴求。

當(dāng)前針對(duì)金融培訓(xùn)視頻，可以利用ASR(Automatic?Speech?Recognition，自動(dòng)語(yǔ)音識(shí)別)或OCR(Optical?Character?Recognition，光學(xué)字符識(shí)別)技術(shù)，識(shí)別視頻對(duì)應(yīng)的文本信息，從而實(shí)現(xiàn)將視頻數(shù)據(jù)轉(zhuǎn)換為文本數(shù)據(jù)。上述轉(zhuǎn)換而來(lái)的文本數(shù)據(jù)通常具有斷句、分段不準(zhǔn)確的問(wèn)題，尤其是針對(duì)長(zhǎng)文本的分段準(zhǔn)確率比較偏低。通常一個(gè)鏡頭會(huì)包含一個(gè)比較獨(dú)立完整的語(yǔ)義，因此，還可以是根據(jù)鏡頭對(duì)金融培訓(xùn)視頻進(jìn)行分割，得到視頻段，再每個(gè)視頻段單獨(dú)進(jìn)行文本轉(zhuǎn)換，從而實(shí)現(xiàn)對(duì)上述金融培訓(xùn)長(zhǎng)文本的分割。然而實(shí)際應(yīng)用的過(guò)程中，不乏一些長(zhǎng)鏡頭的存在，其包含的語(yǔ)義信息比較豐富，這種情況下得到的分割文本依然存在分割不準(zhǔn)確的問(wèn)題。

發(fā)明內(nèi)容

本發(fā)明提供一種長(zhǎng)文本分割方法、裝置、電子設(shè)備及計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其主要目的在于提升金融培訓(xùn)視頻對(duì)應(yīng)的長(zhǎng)文本分割的準(zhǔn)確性。

為實(shí)現(xiàn)上述目的，本發(fā)明提供的一種長(zhǎng)文本分割方法，包括：

獲取待分割長(zhǎng)文本，對(duì)所述待分割長(zhǎng)文本執(zhí)行句向量轉(zhuǎn)換操作，得到句向量序列；

獲取自適應(yīng)滑窗大小，依次從所述句向量序列中提取與所述自適應(yīng)滑窗大小相同數(shù)量的句向量作為目標(biāo)分割單元；

依次從所述目標(biāo)分割單元中選擇一個(gè)句向量作為目標(biāo)句向量，計(jì)算所述目標(biāo)句向量與所述目標(biāo)分割單元中相鄰的句向量之間的語(yǔ)義特征距離；

當(dāng)所述語(yǔ)義特征距離大于或等于預(yù)設(shè)的距離閾值時(shí)，生成所述目標(biāo)句向量對(duì)應(yīng)的語(yǔ)義斷點(diǎn)標(biāo)簽，將所述語(yǔ)義斷點(diǎn)標(biāo)簽前的句向量及所述語(yǔ)義斷點(diǎn)標(biāo)簽對(duì)應(yīng)的句向量組成語(yǔ)義段落；

從所述句向量序列中剔除所述語(yǔ)義段落對(duì)應(yīng)的句向量，并返回上述的獲取自適應(yīng)滑窗大小，依次從所述句向量序列中提取與所述自適應(yīng)滑窗大小相同數(shù)量的句向量作為目標(biāo)分割單元的步驟，直到所述句向量序列為空，匯集每個(gè)所述語(yǔ)義段落得到所述待分割長(zhǎng)文本的分割后的文本。

可選地，所述對(duì)所述待分割長(zhǎng)文本執(zhí)行句向量轉(zhuǎn)換操作，得到句向量序列，包括：

對(duì)所述待分割長(zhǎng)文本執(zhí)行分句操作，依次對(duì)每個(gè)所述分句進(jìn)行分詞，并對(duì)每個(gè)所述分詞進(jìn)行詞向量轉(zhuǎn)換；

將每個(gè)所述分句對(duì)應(yīng)的詞向量相加，得到每個(gè)所述分句的詞向量矩陣；

對(duì)每個(gè)所述詞向量矩陣進(jìn)行池化操作，得到每個(gè)所述分句對(duì)應(yīng)的句向量；

按照每個(gè)所述分句在所述待分割長(zhǎng)文本中的先后順序，匯集每個(gè)所述分句對(duì)應(yīng)的句向量，得到所述句向量序列。

可選地，所述獲取自適應(yīng)滑窗大小，包括：

獲取默認(rèn)滑窗大小；