[發(fā)明專利]文本處理方法、裝置及存儲(chǔ)介質(zhì)和電子設(shè)備

在審

• 申請?zhí)枺?/td>: 201910910426.3
• 申請日: 2019-09-25
• 公開（公告）號: CN110704621A
• 公開（公告）日: 2020-01-17
• 發(fā)明（設(shè)計(jì)）人: 王鵬;王永會(huì);孫海龍
• 申請（專利權(quán)）人: 北京大米科技有限公司
• 主分類號: G06F16/35
• 分類號: G06F16/35;G06K9/62;G06F40/30
• 代理公司: 11597 北京睿派知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙)
• 代理人: 劉鋒

公開了一種文本處理方法、裝置及存儲(chǔ)介質(zhì)和電子設(shè)備。通過獲取第一文本對應(yīng)的第一詞序列和第二文本對應(yīng)的第二詞序列，確定所述第一詞序列對應(yīng)的第一詞向量集合和第一詞權(quán)重集合，確定所述第二詞序列對應(yīng)的第二詞向量集合和第二詞權(quán)重集合，基于所述第一詞向量集合、第一詞權(quán)重集合、第二詞向量集合和第二詞權(quán)重集合計(jì)算第一文本和第二文本的相似度。由此，可以通過自適應(yīng)的方法獲取不同場景下的語料庫中各詞的詞權(quán)重，用于文本向量化的合成，充分體現(xiàn)各詞對文本語義的貢獻(xiàn)度，提升文本的向量化表示能力。

技術(shù)領(lǐng)域

本發(fā)明涉及文本處理技術(shù)領(lǐng)域，尤其涉及一種文本處理方法、裝置及存儲(chǔ)介質(zhì)和電子設(shè)備。

背景技術(shù)

隨著自然語言處理技術(shù)的深入研究和產(chǎn)品落地，文本相似度計(jì)算在很多場景中得到廣泛的應(yīng)用，比如信息檢索、智能問答、多輪對話和推薦系統(tǒng)等等。

目前，關(guān)于文本向量化的方法可以分為基于統(tǒng)計(jì)模型和深度學(xué)習(xí)兩大類。其中，基于統(tǒng)計(jì)的方法主要是詞袋模型(Bag-of-words)，每個(gè)特征的構(gòu)建可以使用TF-IDF(termfrequency–inverse?document?frequency，詞頻逆文本頻率指數(shù))算法或BM25(一種用來評價(jià)搜索詞和文檔之間相關(guān)性的算法)得到。基于深度學(xué)習(xí)的方法，比如CNN(ConvolutionalNeural?Networks，卷積神經(jīng)網(wǎng)絡(luò))、RNN(Recurrent?Neural?Network，循環(huán)神經(jīng)網(wǎng)絡(luò))或者BERT(Bidirectional?Encoder?Representation?from?Transformers，一種預(yù)訓(xùn)練語言表示方法)等可以通過預(yù)設(shè)的目標(biāo)函數(shù)完成訓(xùn)練，然后可以在全連接層獲得輸入文本句子的向量化表示。此外，還有一些端到端(End-to-End)的模型，可以直接完成輸入文本句子對之間的相似度計(jì)算，比如深度語義匹配模型(Deep?Structured?Semantic?Mode，DSSM)等。

然而，單純基于統(tǒng)計(jì)特征的方法主要是衡量詞語表層的統(tǒng)計(jì)信息，無法有效計(jì)算詞語之間的語義關(guān)聯(lián)。基于深度學(xué)習(xí)的方法獲取句子的向量化表示，需要結(jié)合具體的任務(wù)構(gòu)建目標(biāo)函數(shù)以完成模型的訓(xùn)練，遷移性受到約束。使用端到端的模型計(jì)算文本的相似度，需要標(biāo)注大量的文本對，而對于語義的理解和標(biāo)注因人而異，難以準(zhǔn)確反映自然語言的特征。

發(fā)明內(nèi)容

有鑒于此，本發(fā)明實(shí)施例的目的在于提供一種文本處理方法、裝置及存儲(chǔ)介質(zhì)和電子設(shè)備，可以通過自適應(yīng)的方法獲取不同場景下的語料庫中各詞的詞權(quán)重，用于文本向量化的合成，充分體現(xiàn)各詞對文本語義的貢獻(xiàn)度，提升文本的向量化表示能力。

第一方面，本發(fā)明實(shí)施例的提供了一種文本處理方法，所述方法包括：

獲取第一文本對應(yīng)的第一詞序列和第二文本對應(yīng)的第二詞序列；

確定所述第一詞序列對應(yīng)的第一詞向量集合和所述第二詞序列對應(yīng)的第二詞向量集合，其中，所述第一詞向量集合包含所述第一詞序列中各詞的詞向量，所述第二詞向量集合包含所述第二詞序列中各詞的詞向量；

確定所述第一詞序列對應(yīng)的第一詞權(quán)重集合和所述第二詞序列對應(yīng)的第二詞權(quán)重集合，其中，所述第一詞權(quán)重集合包含所述第一詞序列中各詞的詞權(quán)重，所述第二詞權(quán)重集合包含所述第二詞序列中各詞的詞權(quán)重；以及

基于所述第一詞向量集合、所述第一詞權(quán)重集合、所述第二詞向量集合和所述第二詞權(quán)重集合，計(jì)算所述第一文本和所述第二文本的相似度。

優(yōu)選地，所述獲取第一文本對應(yīng)的第一詞序列和第二文本對應(yīng)的第二詞序列，包括：

基于分詞算法對所述第一文本和第二文本進(jìn)行分詞處理，其中，所述分詞算法包括基于字符串匹配的分詞算法、基于理解的分詞算法和基于統(tǒng)計(jì)的分詞算法；以及

基于預(yù)定規(guī)則對分詞結(jié)果進(jìn)行過濾，得到所述第一詞序列和第二詞序列。