[發(fā)明專利]一種文本處理方法、裝置、計(jì)算機(jī)設(shè)備及存儲(chǔ)介質(zhì)

在審

• 申請(qǐng)?zhí)枺?/td>: 202011232583.2
• 申請(qǐng)日: 2020-11-06
• 公開(kāi)（公告）號(hào): CN112347267A
• 公開(kāi)（公告）日: 2021-02-09
• 發(fā)明（設(shè)計(jì)）人: 馬東民;邱學(xué)侃
• 申請(qǐng)（專利權(quán)）人: 北京樂(lè)學(xué)幫網(wǎng)絡(luò)技術(shù)有限公司
• 主分類號(hào): G06F16/36
• 分類號(hào): G06F16/36;G06F40/194;G06K9/62;G06N3/02;G06N3/08
• 代理公司: 北京中知恒瑞知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11889
• 代理人: 謝玲

1.一種文本處理方法，其特征在于，包括：

基于獲取的第一文本確定所述第一文本中各個(gè)第一字符分別對(duì)應(yīng)的第一重要性程度信息、以及基于獲取的第二文本確定所述第二文本中各個(gè)第二字符分別對(duì)應(yīng)的第二重要性程度信息；

基于所述第一重要性程度信息、及所述多個(gè)第一字符分別對(duì)應(yīng)的第一字向量，確定表征第一文本語(yǔ)義信息的第一目標(biāo)向量；以及，基于所述第二重要性程度信息、及所述多個(gè)第二字符分別對(duì)應(yīng)的多個(gè)第二字向量，確定表征第二文本語(yǔ)義信息的第二目標(biāo)向量；

基于所述第一目標(biāo)向量、及所述第二目標(biāo)向量，確定所述第一文本與所述第二文本之間的相似度信息。

2.根據(jù)權(quán)利要求1所述的文本處理方法，其特征在于，所述基于所述第一重要性程度信息、及所述多個(gè)第一字符分別對(duì)應(yīng)的第一字向量，確定表征第一文本語(yǔ)義信息的第一目標(biāo)向量，包括：

利用所述第一重要性程度信息，對(duì)所述多個(gè)第一字符分別對(duì)應(yīng)的第一字向量進(jìn)行加權(quán)求和，得到所述第一目標(biāo)向量。

3.根據(jù)權(quán)利要求1所述的文本處理方法，其特征在于，所述基于所述第一目標(biāo)向量、及所述第二目標(biāo)向量，確定所述第一文本與所述第二文本之間的相似度信息，包括：

確定所述第一目標(biāo)向量、及所述第二目標(biāo)向量之間的向量距離；

基于所述向量距離，得到所述第一文本與所述第二文本之間的相似度信息。

4.根據(jù)權(quán)利要求3所述的文本處理方法，其特征在于，所述第一目標(biāo)向量、及所述第二目標(biāo)向量之間的向量距離包括下述至少一種：

歐式距離、曼哈頓距離、切比雪夫距離、閔可夫斯基距離、馬氏距離、夾角余弦、以及漢明距離。

5.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述基于獲取的第一文本確定所述第一文本中各個(gè)第一字符分別對(duì)應(yīng)的第一重要性程度信息，包括：

獲取所述第一文本的第一特征句向量、及所述第一文本中多個(gè)第一字符分別對(duì)應(yīng)的第一特征字向量；

通過(guò)注意力機(jī)制對(duì)所述第一特征句向量、以及所述多個(gè)第一字符分別對(duì)應(yīng)的第一特征字向量進(jìn)行處理，得到所述多個(gè)第一字符分別與所述第一特征句向量之間的第一相關(guān)度信息；

基于所述多個(gè)第一字符分別與所述第一特征句向量之間的第一相關(guān)度信息，得到所述多個(gè)第一字符分別對(duì)應(yīng)的第一重要性程度信息。

6.根據(jù)權(quán)利要求5所述的方法，其特征在于，所述獲取所述第一文本的第一特征句向量、及所述第一文本中多個(gè)第一字符分別對(duì)應(yīng)的第一特征字向量，包括：

獲取第一文本；其中，所述第一文本包括多個(gè)第一字符；

基于所述第一文本，確定所述第一文本對(duì)應(yīng)的第一句向量，以及基于所述第一文本中的多個(gè)第一字符，確定所述多個(gè)第一字符分別對(duì)應(yīng)的第一字向量；

對(duì)所述第一句向量、及所述多個(gè)第一字符分別對(duì)應(yīng)的第一字向量進(jìn)行聯(lián)合特征提取，得到所述第一文本對(duì)應(yīng)的第一特征句向量、及所述第一文本中多個(gè)第一字符分別對(duì)應(yīng)的第一特征字向量。

7.根據(jù)權(quán)利要求6所述的文本處理方法，其特征在于，所述對(duì)所述第一句向量、及所述多個(gè)第一字符分別對(duì)應(yīng)的第一字向量進(jìn)行聯(lián)合特征提取，包括：

利用預(yù)先訓(xùn)練的神經(jīng)網(wǎng)絡(luò)，對(duì)所述第一句向量、及所述多個(gè)第一字符分別對(duì)應(yīng)的第一字向量進(jìn)行聯(lián)合特征提取，得到所述第一文本對(duì)應(yīng)的第一特征句向量、及所述第一文本中多個(gè)第一字符分別對(duì)應(yīng)的第一特征字向量。

8.根據(jù)權(quán)利要求5所述的文本處理方法，其特征在于，所述通過(guò)注意力機(jī)制對(duì)所述第一特征句向量、以及所述多個(gè)第一字符分別對(duì)應(yīng)的第一特征字向量進(jìn)行處理，得到所述多個(gè)第一字符分別與所述第一特征句向量之間的第一相關(guān)度信息，包括：

針對(duì)所述多個(gè)第一字符中的每個(gè)第一字符，確定所述每個(gè)第一字符對(duì)應(yīng)的第一特征字向量、與所述第一特征句向量之間的第一距離；

基于所述第一距離，確定所述每個(gè)第一字符與所述第一特征句向量之間的第一相關(guān)度信息。