[發(fā)明專利]文本處理方法、裝置及存儲(chǔ)介質(zhì)和電子設(shè)備

在審

• 申請(qǐng)?zhí)枺?/td>: 201910910426.3
• 申請(qǐng)日: 2019-09-25
• 公開（公告）號(hào): CN110704621A
• 公開（公告）日: 2020-01-17
• 發(fā)明（設(shè)計(jì)）人: 王鵬;王永會(huì);孫海龍
• 申請(qǐng)（專利權(quán)）人: 北京大米科技有限公司
• 主分類號(hào): G06F16/35
• 分類號(hào): G06F16/35;G06K9/62;G06F40/30
• 代理公司: 11597 北京睿派知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙)
• 代理人: 劉鋒

1.一種文本處理方法，其特征在于，所述方法包括：

獲取第一文本對(duì)應(yīng)的第一詞序列和第二文本對(duì)應(yīng)的第二詞序列；

確定所述第一詞序列對(duì)應(yīng)的第一詞向量集合和所述第二詞序列對(duì)應(yīng)的第二詞向量集合，其中，所述第一詞向量集合包含所述第一詞序列中各詞的詞向量，所述第二詞向量集合包含所述第二詞序列中各詞的詞向量；

確定所述第一詞序列對(duì)應(yīng)的第一詞權(quán)重集合和所述第二詞序列對(duì)應(yīng)的第二詞權(quán)重集合，其中，所述第一詞權(quán)重集合包含所述第一詞序列中各詞的詞權(quán)重，所述第二詞權(quán)重集合包含所述第二詞序列中各詞的詞權(quán)重；以及

基于所述第一詞向量集合、所述第一詞權(quán)重集合、所述第二詞向量集合和所述第二詞權(quán)重集合，計(jì)算所述第一文本和所述第二文本的相似度；

其中，所述基于所述第一詞向量集合、所述第一詞權(quán)重集合、所述第二詞向量集合和所述第二詞權(quán)重集合，計(jì)算所述第一文本和所述第二文本的相似度，包括：

基于所述第一詞向量集合和第一詞權(quán)重集合計(jì)算所述第一文本對(duì)應(yīng)的第一文本向量；

基于所述第二詞向量集合和第二詞權(quán)重集合計(jì)算所述第二文本對(duì)應(yīng)的第二文本向量；以及

根據(jù)所述第一文本向量和所述第二文本向量計(jì)算所述相似度；

其中，所述詞權(quán)重通過詞權(quán)重模型獲取，所述詞權(quán)重模型中包括至少一個(gè)文本片段，所述文本片段基于預(yù)定義的分隔符分割輸入訓(xùn)練文本得到，所述文本片段包括至少一個(gè)詞，所述詞權(quán)重模型中的每個(gè)詞的權(quán)重跟包含該詞的文本片段的數(shù)量成正相關(guān)、跟包含該詞的文本片段中所包含的詞的數(shù)量成負(fù)相關(guān)；

其中，所述詞權(quán)重的計(jì)算公式為：

其中，Wi為詞序列中第i個(gè)詞的詞權(quán)重，fi為所述第i個(gè)詞對(duì)應(yīng)的詞片段集合，fi中的每個(gè)詞片段中包含所述第i個(gè)詞，|fi|為所述詞片段集合中的詞片段個(gè)數(shù)，Lfi為所述詞片段集合中的各詞片段的長(zhǎng)度。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述獲取第一文本對(duì)應(yīng)的第一詞序列和第二文本對(duì)應(yīng)的第二詞序列，包括：

基于分詞算法對(duì)所述第一文本和第二文本進(jìn)行分詞處理，其中，所述分詞算法包括基于字符串匹配的分詞算法、基于理解的分詞算法和基于統(tǒng)計(jì)的分詞算法；以及

基于預(yù)定規(guī)則對(duì)分詞結(jié)果進(jìn)行過濾，得到所述第一詞序列和第二詞序列。

3.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述確定所述第一詞序列對(duì)應(yīng)的第一詞向量集合和所述第二詞序列對(duì)應(yīng)的第二詞向量集合，包括：

基于詞向量模型確定所述第一詞向量集合和所述第二詞向量集合，所述詞向量模型基于預(yù)先訓(xùn)練得到，包括連續(xù)詞袋模型、連續(xù)跳躍模型和詞表征的全局向量模型。

4.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述確定所述第一詞序列對(duì)應(yīng)的第一詞權(quán)重集合和所述第二詞序列對(duì)應(yīng)的第二詞權(quán)重集合，包括：

在詞權(quán)重模型中，檢索所述第一詞序列中各詞對(duì)應(yīng)的詞權(quán)重、所述第二詞序列中各詞對(duì)應(yīng)的詞權(quán)重，得到所述第一詞權(quán)重集合和所述第二詞權(quán)重集合，所述詞權(quán)重模型基于預(yù)先訓(xùn)練得到。

5.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述根據(jù)所述第一文本向量和所述第二文本向量計(jì)算所述相似度，包括：

對(duì)所述第一文本向量和所述第二文本向量進(jìn)行歸一化，所述歸一化為將所述第一文本向量和所述第二文本向量分別除以所述第一詞序列和所述第二詞序列中的詞的個(gè)數(shù)；以及

根據(jù)歸一化后的第一文本向量和第二文本向量計(jì)算所述相似度，所述相似度為歐式距離、曼哈頓距離或余弦相似度。