[發明專利]文本表征方法、裝置及計算機設備

在審

• 申請號: 202011259325.3
• 申請日: 2020-11-12
• 公開（公告）號: CN112364666A
• 公開（公告）日: 2021-02-12
• 發明（設計）人: 蔡薇;黃帥;尹亞維
• 申請（專利權）人: 虎博網絡技術（上海）有限公司
• 主分類號: G06F40/35
• 分類號: G06F40/35;G06F40/289;G06F40/284;G06N3/04;G06N3/08
• 代理公司: 北京超凡宏宇專利代理事務所(特殊普通合伙) 11463
• 代理人: 董艷芳

本發明實施例公開了文本表征方法、裝置及計算機設備。該文本表征方法包括：對輸入的句子文本進行分詞，獲得第一詞向量矩陣和第一字向量矩陣；將第一詞向量矩陣和所述第一字向量矩陣通過注意力機制動態結合，獲得詞信息背景矩陣和字信息背景矩陣；將第一詞向量矩陣與詞信息背景矩陣進行矩陣拼接，獲得第二詞向量矩陣，將第一字向量矩陣與字信息背景矩陣進行矩陣拼接，獲得第二字向量矩陣；然后將第二詞向量矩陣和第二字向量矩陣進行深層編碼，獲得詞矩陣層和字矩陣層，進行矩陣拼接，獲得句子文本的完整編碼層，作為句子文本對應的表征結果。本發明的文本表征方法，實現了對句子語義信息的更加完善、準確的表達。

技術領域

本發明涉及自然語言處理領域，尤其涉及文本表征方法、裝置及計算機設備。

背景技術

用自然語言與計算機進行通信，這是人們長期以來所追求的。隨著深度學習技術的飛速發展，越來越多的深度學習技術被應用到自然語言處理的各個領域，多種基于深度學習的自然語言模型也被提出，模型如何更好地表示自然語言，成為了很重要的議題。

一些模型在對文本中的句子進行建模時，將分詞工具得到的一個詞作為句子的一個語義單元進行分析。對于漢語而言，直接用一個詞作為語義進行表示，忽略了詞內字間的信息。并且分詞工具的中文分詞結果并非完全準確，所以將詞作為句子的一個語義單元進行分析并不能完整地表達句子的意思。另一些模型將單獨的字作為一個語義單元進行表示，但是漢語中單獨的一個字歧義性較大，并不能準確地表示當前的語境信息。還有一些模型將漢語字和詞信息直接結合進行表示，但是對于一個詞而言，有些字能表達整個詞的語義，而有些字是不會影響這個詞的語義的，同樣也不能準確地表示當前語境信息。

可見，現有的自然語言模型對于詞和字的結合，無法體現詞對字以及字對詞的重要性，無法精準、完善地對句子的語義進行表征。

發明內容

鑒于上述問題，本發明提供文本表征方法、裝置及計算機設備，通過注意力機制動態結合字詞信息，從而構建一個文本表征模型，更加準確地表示句子的語義信息。

第一方面，本發明的一個實施方式提供一種文本表征方法，包括：

接收輸入的句子文本；

對所述句子文本進行分詞操作，獲得第一詞向量矩陣和第一字向量矩陣；

將所述第一詞向量矩陣和所述第一字向量矩陣通過注意力機制動態結合，獲得詞信息背景矩陣和字信息背景矩陣；

將所述第一詞向量矩陣與所述詞信息背景矩陣進行矩陣拼接，獲得第二詞向量矩陣，將所述第一字向量矩陣與所述字信息背景矩陣進行矩陣拼接，獲得第二字向量矩陣；

將所述第二詞向量矩陣和所述第二字向量矩陣進行深層編碼，獲得詞矩陣層和字矩陣層；

將所述詞矩陣層和所述字矩陣層進行矩陣拼接，獲得所述句子文本的完整編碼層，作為所述句子文本對應的表征結果。

在一種可能的實施方式中，所述對所述句子文本進行分詞操作，獲得第一詞向量矩陣和第一字向量矩陣；

所述步驟包括：

將所述句子文本通過分詞器以詞為單位進行分詞，獲得所述句子文本的詞集合，利用中文預訓練所述詞集合，獲得所述第一詞向量矩陣；

將所述句子文本通過分詞器以字為單位進行分詞，獲得所述句子文本的字集合，隨機初始化所述字集合，獲得所述第一字向量矩陣。

在一種可能的實施方式中，所述將所述第一詞向量矩陣和所述第一字向量矩陣通過注意力機制動態結合，獲得詞信息背景矩陣和字信息背景矩陣；

所述步驟包括：