[發明專利]一種訓練數據的方法、裝置及存儲介質有效

申請號：	201711269292.9	申請日：	2017-12-05
公開（公告）號：	CN110019648B	公開（公告）日：	2021-02-02
發明（設計）人：	李瀟;鄭孫聰	申請（專利權）人：	深圳市騰訊計算機系統有限公司
主分類號：	G06F16/31	分類號：	G06F16/31;G06F16/35;G06F40/295;G06N3/04;G06N3/08;G06K9/62
代理公司：	深圳市深佳知識產權代理事務所(普通合伙) 44285	代理人：	王仲凱
地址：	518000 廣東省深圳市南***	國省代碼：	廣東;44
權利要求書：	查看更多	說明書：	查看更多
摘要：
搜索關鍵詞：	一種訓練數據方法裝置存儲介質
鉆瓜網技術展會專利詞庫專利權人專利榜在售專利公布日期熱門專利

【說明書】：

一種訓練數據的方法、裝置及存儲介質，該方法包括獲取待處理的語料集合；從語料集合中提取實體集合，從實體集合中提取候選上位詞集合；將實體集合中的實體分別與候選上位詞集合中的各上位詞組合，得到候選對集合，候選對集合包括多個候選對，候選對是指具備關聯關系的實體與上位詞的組合；將候選對、每個與候選對關聯的語句分別構造為一份預測數據，以及對預測數據中與候選對關聯的語句進行泛化處理；對各候選對所關聯的語句分別進行分詞處理，得到詞語集合；對詞語集合中的各詞語輸入泛化處理層進行轉換，得到向量集合；根據預測數據和長短期記憶人工神經網絡LSTM對所述向量集合進行訓練和預測。通過采用該方案，能夠提高訓練數據的效率。

技術領域

本申請涉及大數據處理技術領域，尤其涉及一種訓練數據的方法、裝置及存儲介質。

背景技術

在時間遞歸神經網絡技術領域，一般采用長短期記憶人工神經網絡(英文全稱：long-short term memory，英文簡稱：LSTM)處理、預測時間序列中間隔長、延遲長的重要事件。在使用LSTM預測之前，需要從語料集合中挖掘上位詞，并將問題轉換成分類問題，即給定一個候選實體-上位詞對，預測該候選實體-上位詞對是不是真正的實體-上位詞對。在預測方法上，一般都是分詞處理、提取特征，然后使用傳統分類器來對候選實體-上位詞進行分類。但這種方式對領域知識要求較高，且最終分類的的結果可能不具有泛化性，其所能預測的范圍較小。

目前主要基于深度學習的方法對候選實體-上位詞進行分類，自動從語料集合中提取特征和生成批量的訓練數據，基于批量的訓練數據進行預測，能夠提高分類的性能，但是由于深度網絡很復雜，外加命名實體數量的增加，需要生成更多的訓練數據，生成大量的訓練數據所耗費時間較長，并且效率較低。

發明內容

本申請提供了一種訓練數據的方法、裝置及存儲介質，能夠解決現有技術中訓練數據的效率較低的問題。

本申請第一方面提供一種訓練數據的方法，所述方法包括：

獲取待處理的語料集合；

從所述語料集合中提取實體集合，所述實體集合包括多個命名的實體；

從所述實體集合中提取候選上位詞集合；

將所述實體集合中的實體分別與所述候選上位詞集合中的各上位詞組合，得到候選對集合，所述候選對集合包括多個候選對，所述候選對是指具備關聯關系的實體與上位詞的組合；

將候選對、每個與候選對關聯的語句分別構造為一份預測數據，以及對預測數據中與候選對關聯的語句進行泛化處理；

對各候選對所關聯的語句分別進行分詞處理，得到詞語集合；

對所述詞語集合中的各詞語輸入泛化處理層進行轉換，得到向量集合；

根據所述預測數據和長短期記憶人工神經網絡LSTM對所述向量集合進行訓練和預測。