[發(fā)明專利]一種文本處理的方法、裝置、可讀存儲(chǔ)介質(zhì)和電子設(shè)備

有效

• 申請(qǐng)?zhí)枺?/td>: 201911275301.4
• 申請(qǐng)日: 2019-12-12
• 公開(kāi)（公告）號(hào): CN111079411B
• 公開(kāi)（公告）日: 2023-10-13
• 發(fā)明（設(shè)計(jì)）人: 李超
• 申請(qǐng)（專利權(quán)）人: 拉扎斯網(wǎng)絡(luò)科技（上海）有限公司
• 主分類號(hào): G06F40/216
• 分類號(hào): G06F40/216;G06F40/289
• 代理公司: 北京睿派知識(shí)產(chǎn)權(quán)代理有限公司 11597
• 代理人: 劉鋒

本發(fā)明實(shí)施例公開(kāi)了一種文本處理的方法、裝置、可讀存儲(chǔ)介質(zhì)和電子設(shè)備。本發(fā)明實(shí)施例通過(guò)至少一個(gè)處理器解析所述數(shù)據(jù)，獲取至少一個(gè)第一文本，對(duì)所述至少一個(gè)第一文本進(jìn)行切分，確定第二文本集合，通過(guò)所述至少一個(gè)處理器獲取所述第二文本的特征信息，根據(jù)所述第二文本的特征信息確定評(píng)價(jià)信息，根據(jù)所述評(píng)價(jià)信息確定至少一個(gè)所述第二文本中的至少一個(gè)切分關(guān)鍵詞；確定所述第一文本的最終切分方式，以及所述最終切分方式對(duì)應(yīng)的最終切分關(guān)鍵詞；根據(jù)所述特征信息、所述最終切分方式以及所述最終切分關(guān)鍵詞訓(xùn)練分詞模型。通過(guò)上述方法訓(xùn)練處的分詞模型可以自動(dòng)對(duì)文本進(jìn)行準(zhǔn)確的切分，減少人力資源的消耗，并且提高了文本分詞的準(zhǔn)確性。

技術(shù)領(lǐng)域

本發(fā)明涉及數(shù)據(jù)處理領(lǐng)域，具體涉及一種文本處理的方法、裝置、可讀存儲(chǔ)介質(zhì)和電子設(shè)備。

背景技術(shù)

隨著科技的進(jìn)步，有關(guān)自然語(yǔ)言處理的應(yīng)用越來(lái)越廣泛，文本分詞是自然語(yǔ)言處理中其他處理的基礎(chǔ)，因此文本分詞的準(zhǔn)確性非常重要。

現(xiàn)有技術(shù)中通常基于詞典的分詞方式、或者基于統(tǒng)計(jì)/深度學(xué)習(xí)的分詞模型進(jìn)行文本分詞，具體的，基于詞典的分詞方式需要大量人工維護(hù)詞典，基于統(tǒng)計(jì)/深度學(xué)習(xí)的分詞模型需要大量人工標(biāo)注過(guò)的語(yǔ)料進(jìn)行訓(xùn)練，上述兩種方式都浪費(fèi)大量的人力資源，并且人工維護(hù)或標(biāo)注時(shí)錯(cuò)誤率高，影響文本分詞的準(zhǔn)確性。

發(fā)明內(nèi)容

有鑒于此,本發(fā)明實(shí)施例提供了一種文本處理的方法、裝置、可讀存儲(chǔ)介質(zhì)和電子設(shè)備，能夠提高文本分詞的準(zhǔn)確性。

第一方面，本發(fā)明實(shí)施例提供了一種文本處理的方法，該方法包括：接收來(lái)自于程序調(diào)用接口的數(shù)據(jù)；通過(guò)至少一個(gè)處理器解析所述數(shù)據(jù)，獲取至少一個(gè)第一文本；通過(guò)所述至少一個(gè)處理器對(duì)所述至少一個(gè)第一文本進(jìn)行切分，確定第二文本集合，所述第二文本集合包括至少一個(gè)第二文本，所述第二文本為第一文本的一部分；通過(guò)所述至少一個(gè)處理器獲取所述第二文本的特征信息；所述至少一個(gè)處理器根據(jù)所述第二文本的特征信息確定評(píng)價(jià)信息；所述至少一個(gè)處理器根據(jù)所述評(píng)價(jià)信息確定至少一個(gè)所述第二文本中的至少一個(gè)切分關(guān)鍵詞；所述至少一個(gè)處理器確定所述第一文本的最終切分方式，以及所述最終切分方式對(duì)應(yīng)的最終切分關(guān)鍵詞；所述至少一個(gè)處理器根據(jù)所述特征信息、所述最終切分方式以及所述最終切分關(guān)鍵詞訓(xùn)練分詞模型。

優(yōu)選地，該方法還包括：所述至少一個(gè)處理器通過(guò)訓(xùn)練后的所述分詞模型切分第三文本。

優(yōu)選地，所述特征信息以及所述第一文本儲(chǔ)存在數(shù)據(jù)庫(kù)中，所述數(shù)據(jù)庫(kù)為圖模型。

優(yōu)選地，所述特征信息包括所述至少一個(gè)第二文本的文本長(zhǎng)度、次數(shù)、出現(xiàn)頻率TF、逆文檔概率IDF、左臨概率、右臨概率、以及臨接概率梯度。

優(yōu)選地，所述至少一個(gè)處理器根據(jù)所述特征信息確定所述至少一個(gè)第二文本中的至少一個(gè)切分關(guān)鍵詞，具體包括：所述至少一個(gè)處理器根據(jù)所述特征信息確定所述至少一個(gè)第二文本中的至少一個(gè)切分詞以及所述至少一個(gè)切分詞對(duì)應(yīng)的分?jǐn)?shù)；響應(yīng)于所述分?jǐn)?shù)大于設(shè)定閾值，則所述切分詞為備選切分關(guān)鍵詞；響應(yīng)于所述備選切分關(guān)鍵詞小于或等于設(shè)定字?jǐn)?shù)，則確定所述備選切分關(guān)鍵詞為所述切分關(guān)鍵詞。

優(yōu)選地，所述響應(yīng)于所述分?jǐn)?shù)大于設(shè)定閾值，則所述切分詞為備選切分關(guān)鍵詞之后，該方法還包括：響應(yīng)于所述備選切分關(guān)鍵詞大于設(shè)定字?jǐn)?shù)，根據(jù)臨接概率梯度變化率將所述備選切分關(guān)鍵詞切分為所述切分關(guān)鍵詞。

優(yōu)選地，所述至少一個(gè)處理器確定所述第一文本的最終切分方式，以及所述最終切分方式對(duì)應(yīng)的最終切分關(guān)鍵詞，具體包括：響應(yīng)于所述第一文本的切分方式包括至少兩種；將所述每種切分方式對(duì)應(yīng)的最終切分關(guān)鍵詞的分?jǐn)?shù)與所述最終切分關(guān)鍵詞間的臨接概率梯度變化率進(jìn)行加權(quán)處理，確定出最終評(píng)價(jià)信息；確定所述最終評(píng)價(jià)信息中最優(yōu)最終評(píng)價(jià)信息對(duì)應(yīng)的切分方式為最終切分方式，以及所述最終切分方式對(duì)應(yīng)的最終切分關(guān)鍵詞。