[發明專利]一種序列標注的訓練方法、裝置及計算機可讀存儲介質在審

申請號：	201911253417.8	申請日：	2019-12-09
公開（公告）號：	CN113033192A	公開（公告）日：	2021-06-25
發明（設計）人：	張永偉;童毅軒;丁磊;姜珊珊;董濱	申請（專利權）人：	株式會社理光
主分類號：	G06F40/289	分類號：	G06F40/289;G06F40/295;G06N3/04;G06N3/08
代理公司：	北京銀龍知識產權代理有限公司 11243	代理人：	黃燦;姜精斌
地址：	日本***	國省代碼：	暫無信息
權利要求書：	查看更多	說明書：	查看更多
摘要：
搜索關鍵詞：	一種序列標注訓練方法裝置計算機可讀存儲介質
鉆瓜網技術展會專利詞庫專利權人專利榜在售專利公布日期熱門專利

【說明書】：

本發明提供了一種序列標注的訓練方法、裝置及計算機可讀存儲介質。本發明提供的序列標注的訓練方法，在序列標注的訓練過程中，使用自注意力機制自動學習字的詞邊界特征信息，從而無需依賴其他分詞工具或詞典就可以在序列標注中引入詞邊界特征信息，簡化了序列標注的實現，提高了序列標注效率和準確性。

技術領域

本發明涉及自然語言處理(NLP，Natural Language Processing)技術領域，具體涉及一種序列標注的訓練方法、裝置及計算機可讀存儲介質。

背景技術

序列標注問題是自然語言中的常見問題，常見的序列標注問題的解決方案包括隱馬爾可夫模型(HMM，Hidden Markov Model)、最大熵模型和條件隨機場(CRF，ConditionalRandom Field)模型。目前，隨著深度學習的發展，遞歸神經網絡(RNN，Recurrent NeuralNetwork)已經應用于序列標注問題中，簡化了序列標注問題的解決。

所謂“序列標注”，通常是指，對于一個一維線性輸入序列，給線性序列中的每個元素打上標簽集合中的某個標簽，所以，其本質上是對線性序列中每個元素根據上下文內容進行分類的問題。一般情況下，對于NLP任務來說，線性序列就是輸入的文本，例如，可以把一個漢字看作線性序列的一個元素，而不同任務其標簽集合代表的含義可能不太相同，但是相同的問題都是：如何根據漢字的上下文給漢字打上一個合適的標簽。

絕大多數NLP問題都可以轉化為序列標注問題，序列標注問題包括自然語言處理中的分詞、詞性標注、命名實體識別、關鍵詞抽取和詞義角色標注等等。通常，在做序列標注時需要提供特定的標簽集合，進而進行序列標注。

可見，如果能夠簡化序列標注的實現，提高序列標注的效率，將對開發高性能翻譯，對話，輿情監測，主題跟蹤以及語義理解等系統中具有重要意義。

發明內容

本發明實施例要解決的技術問題是提供一種序列標注的訓練方法、裝置及計算機可讀存儲介質，簡化序列標注的實現，提高序列標注的效率。

根據本發明實施例的一個方面，提供了一種序列標注的訓練方法，包括：

根據已標注標簽的訓練語句集，為訓練語句集中的字生成字向量；

按照正向序列方向和反向序列方向，將所述訓練語句中以當前字向量為邊界的多個字向量序列，輸入至兩層自注意力模型，生成當前字向量在不同序列方向上的詞邊界特征向量；

將當前字向量分別和當前字向量在不同序列方向上的詞邊界特征向量拼接后輸入至雙向長短期記憶Bi-LSTM模型，獲得所述Bi-LSTM模型的隱藏層狀態輸出；

根據所述Bi-LSTM模型的隱藏層狀態輸出，并利用條件隨機場模型進行標簽預測訓練。

此外，根據本發明至少一個實施例，所述兩層自注意力模型包括P-1個第一層自注意力模型和1個第二層自注意力模型，其中：

所述P-1個第一層自注意力模型的輸入分別為長度2到P的字向量序列，所述字向量序列為從所述訓練語句中的第一字向量開始，截止到所述當前字向量的序列，所述第一字向量為按照序列方向位于當前字向量之前的字向量，所述P為大于或等于3的整數；

所述第二層自注意力模型的輸入為所述P-1個第一層自注意力模型的輸出，第二層自注意力模型的輸出作為當前字向量的詞邊界特征向量。