[發明專利]一種序列標注方法及裝置

在審

• 申請號: 201810468640.3
• 申請日: 2018-05-16
• 公開（公告）號: CN108717409A
• 公開（公告）日: 2018-10-30
• 發明（設計）人: 劉壯;張文凌;閆成
• 申請（專利權）人: 聯動優勢科技有限公司
• 主分類號: G06F17/27
• 分類號: G06F17/27;G06N3/04
• 代理公司: 北京同達信恒知識產權代理有限公司 11291
• 代理人: 黃志華

1.一種序列標注方法，其特征在于，該方法包括：

通過詞向量表獲得輸入的文本序列的每個詞對應的詞向量表示；

針對所述文本序列中的每一個字符，通過字符向量表獲得每個字符的字符向量表示，并生成由所述字符向量表示組成的每個詞的字符向量矩陣表示；

對每個詞的字符向量矩陣表示進行卷積和池化，獲得每個詞的字符級特征向量表示；

針對每個詞，將所述詞的字符級特征向量表示和詞向量表示進行拼接，得到所述詞的拼接詞向量表示；

對所述文本序列的每個詞的拼接詞向量表示進行序列標注處理，得到所述文本序列的標簽序列。

2.如權利要求1所述的方法，其特征在于，所述對所述文本序列的每個詞的拼接詞向量表示進行序列標注處理，得到所述文本序列的標簽序列，包括：

通過雙層雙向的門控循環記憶神經網絡GRU模塊按照從前往后遞歸，根據每個詞的拼接詞向量表示，計算所述文本序列中各個詞的正向最大概率；

通過雙層雙向的GRU模塊按照從后往前遞歸，根據每個詞的拼接詞向量表示，計算所述文本序列中各個詞的反向最大概率；

根據所述正向最大概率和反向最大概率，生成所述文本序列最終的標簽序列。

3.如權利要求2所述的方法，其特征在于，所述根據所述正向最大概率和反向最大概率，生成所述文本序列最終的標簽序列，包括：

根據以下公式，確定每個詞的最大概率，并根據各個最大概率的詞生成所述文本序列最終的標簽序列；

其中，

其中，表示正向的時間i時刻的隱層狀態值，表示正向的時間i-1時刻的隱層狀態值，表示反向的時間i時刻的隱層狀態值，表示反向的時間i+1時刻的隱層狀態值，R^h表示向量空間，p_i表示時間i時刻拼接詞向量表示，表示時間i時刻最終的拼接詞向量表示。

4.如權利要求1所述的方法，其特征在于，所述對每個詞的字符向量矩陣表示進行卷積和池化，獲得每個詞的字符級特征向量表，包括：

確定所述文本序列中的最大長度的詞對應的第一字符向量矩陣的長度；

將所述文本序列中的各個詞的字符向量矩陣調整至所述第一字符向量矩陣的長度；

并對調整后的各個詞的字符向量矩陣進行卷積和池化，獲得每個詞的字符級特征向量表。

5.如權利要求1所述的方法，其特征在于，還包括：

通過線性條件隨機場CRF，對雙層雙向的GRU輸出的標簽序列進行解碼處理，獲得處理后的標簽序列。

6.一種序列標注裝置，其特征在于，該裝置包括：

詞向量表模塊，用于通過詞向量表獲得輸入的文本序列的每個詞對應的詞向量表示；

CNN模塊，用于針對所述文本序列中的每一個字符，通過字符向量表獲得每個字符的字符向量表示，并生成由所述字符向量表示組成的每個詞的字符向量矩陣表示；對每個詞的字符向量矩陣表示進行卷積和池化，獲得每個詞的字符級特征向量表示；

向量拼接模塊，用于針對每個詞，將所述詞的字符級特征向量表示和詞向量表示進行拼接，得到所述詞的拼接詞向量表示；

門控循環記憶神經網絡GRU模塊，用于對所述文本序列的每個詞的拼接詞向量表示進行序列標注處理，得到所述文本序列的標簽序列。

7.如權利要求6所述的序列標注裝置，其特征在于，所述GRU模塊，用于：

通過雙層雙向的門控循環記憶神經網絡GRU模塊按照從前往后遞歸，根據每個詞的拼接詞向量表示，計算所述文本序列中各個詞的正向最大概率；

通過雙層雙向的GRU模塊按照從后往前遞歸，根據每個詞的拼接詞向量表示，計算所述文本序列中各個詞的反向最大概率；

根據所述正向最大概率和反向最大概率，生成所述文本序列最終的標簽序列。