[發明專利]一種序列標注方法及裝置

在審

• 申請號: 201810468640.3
• 申請日: 2018-05-16
• 公開（公告）號: CN108717409A
• 公開（公告）日: 2018-10-30
• 發明（設計）人: 劉壯;張文凌;閆成
• 申請（專利權）人: 聯動優勢科技有限公司
• 主分類號: G06F17/27
• 分類號: G06F17/27;G06N3/04
• 代理公司: 北京同達信恒知識產權代理有限公司 11291
• 代理人: 黃志華

本發明公開一種序列標注方法及裝置，該方法包括：序列標注模型通過詞向量表獲得輸入的文本序列的每個詞對應的詞向量表示；然后序列標注模型針對文本序列中的每一個字符，通過字符向量表獲得每個字符的字符向量表示，并針對每個詞，將詞的字符級特征向量表示和詞向量表示進行拼接，得到詞的拼接詞向量表示；最后序列標注模型對文本序列的每個詞的拼接詞向量表示進行序列標注處理，得到文本序列的標簽序列，該方法用以提供一種泛化性和準確性都較高的序列標注模型。

技術領域

本發明涉及人工智能領域，尤其涉及一種序列標注方法及裝置。

背景技術

隨著近年來互聯網等新興媒體的快速發展，人類已經進入了信息爆炸的時 代。同時也越來越希望計算機能夠理解人類的語言，以更好地幫助人類完成各 種日常工作。因此自然語言處理成為了近年來的研究熱點。而在自然語言處理 中，序列標注模型是最常見的模型，也有著廣泛地應用。與一般分類問題不同 的是，序列標注模型輸出的是一個標簽序列。通常而言，標簽之間是相互聯系 的，構成標簽之間的結構信息。利用這些結構信息，序列標注模型在序列標注 問題上往往可以達到比傳統分類方法更高的性能。

傳統的序列標注模型有多種實現技術，其中基于深度學習的方法主要是通 過對數據多層建模獲得數據的特征和分布式表示，常見的實現方案有：多層感 知器(Multilayer Perceptron，MLP)、自動編碼器(Auto Encoder，AE)、卷積 神經網絡(Convolutional Neural Networks，CNN)、循環神經網絡(Recurrent Neural Networks，RNN)等。該技術方案避免了繁瑣的人工特征抽取，具有良好 的泛化能力，但現有技術方案都是直接利用單一神經網絡或單模型改進調優實 現，導致標注準確率較低，和人工標注結果相比，還存在較大提升空間。

因此，本發明著眼于解決自然語言處理中復雜的序列標注問題，對現有的 序列標注模型進行改進。一方面，本發明實施例在不使用任何人工特征的情況 下，獲得了比使用大量豐富特征和領域知識的淺層機器學習方法更好的結果。 第二方面，本發明實施例所提供的序列標注模型具有比較高的有效性和泛化 性。第三方面，本發明實施例所提供的序列標注模型具有很高的準確性。

發明內容

本發明實施例提供一種序列標注方法及裝置，用以提供一種泛化性和準確 性都較高的序列標注模型。

第一方面，本發明方法包括一種序列標注方法，該方法由序列標注模型執 行，具體包括：序列標注模型通過詞向量表獲得輸入的文本序列的每個詞對應 的詞向量表示；同時，針對所述文本序列中的每一個字符，通過字符向量表獲 得每個字符的字符向量表示，并生成由所述字符向量表示組成的每個詞的字符 向量矩陣表示；再對每個詞的字符向量矩陣表示進行卷積和池化，獲得每個詞 的字符級特征向量表示；然后針對每個詞，將所述詞的字符級特征向量表示和 詞向量表示進行拼接，得到所述詞的拼接詞向量表示；最終對所述文本序列的 每個詞的拼接詞向量表示進行序列標注處理，得到所述文本序列的標簽序列。

可見，本發明實施例在不使用任何人工特征的情況下，獲得了比使用大 量豐富特征和領域知識的淺層機器學習方法更好的結果，而且具有比較高的有 效性和泛化性。

在一種可能的設計中，所述對所述文本序列的每個詞的拼接詞向量表示進 行序列標注處理，得到所述文本序列的標簽序列，包括：

通過雙層雙向的門控循環記憶神經網絡GRU模塊按照從前往后遞歸，根 據每個詞的拼接詞向量表示，計算所述文本序列中各個詞的正向最大概率；

通過雙層雙向的GRU模塊按照從后往前遞歸，根據每個詞的拼接詞向量 表示，計算所述文本序列中各個詞的反向最大概率；

根據所述正向最大概率和反向最大概率，生成所述文本序列最終的標簽序 列。