[發(fā)明專利]一種訓(xùn)練樣本生成的方法、裝置、計算機設(shè)備及存儲介質(zhì)在審
| 申請?zhí)枺?/td> | 202110705512.8 | 申請日: | 2021-06-24 |
| 公開(公告)號: | CN113361629A | 公開(公告)日: | 2021-09-07 |
| 發(fā)明(設(shè)計)人: | 莫琪 | 申請(專利權(quán))人: | 平安普惠企業(yè)管理有限公司 |
| 主分類號: | G06K9/62 | 分類號: | G06K9/62;G06N3/08;G06F40/30;G06F16/35 |
| 代理公司: | 深圳市世聯(lián)合知識產(chǎn)權(quán)代理有限公司 44385 | 代理人: | 汪琳琳 |
| 地址: | 518000 廣東省深圳市前海深港合作區(qū)前*** | 國省代碼: | 廣東;44 |
| 權(quán)利要求書: | 查看更多 | 說明書: | 查看更多 |
| 摘要: | |||
| 搜索關(guān)鍵詞: | 一種 訓(xùn)練 樣本 生成 方法 裝置 計算機 設(shè)備 存儲 介質(zhì) | ||
1.一種訓(xùn)練樣本生成的方法,其特征在于,包括:
獲取初始訓(xùn)練樣本和目標訓(xùn)練樣本,并對所述初始訓(xùn)練樣本和所述目標訓(xùn)練樣本進行拼接,得到樣本匹配對;
將所述樣本匹配對導(dǎo)入到預(yù)設(shè)的第一處理模型,得到初始目標樣本集,其中,所述初始目標樣本集包含若干個初始目標樣本;
將所述目標訓(xùn)練樣本和所述初始目標樣本集導(dǎo)入到預(yù)設(shè)的第二處理模型,通過所述第二處理模型依次計算所述目標訓(xùn)練樣本和每一個所述初始目標樣本的相似度;
獲取與所述目標訓(xùn)練樣本的相似度大于預(yù)設(shè)閾值的初始目標樣本,得到相似目標樣本;
將所述相似目標樣本與所述初始訓(xùn)練樣本進行組合,得到訓(xùn)練樣本集。
2.如權(quán)利要求1所述的訓(xùn)練樣本生成的方法,其特征在于,所述獲取初始訓(xùn)練樣本和目標訓(xùn)練樣本,并對所述初始訓(xùn)練樣本和所述目標訓(xùn)練樣本進行拼接,得到樣本匹配對的步驟,具體包括:
分別對所述初始訓(xùn)練樣本和所述目標訓(xùn)練樣本進行預(yù)處理,其中,所述預(yù)處理包括分詞和去除停用詞;
分別提取預(yù)處理后所述初始訓(xùn)練樣本和所述目標訓(xùn)練樣本的文本實體;
分別對所述初始訓(xùn)練樣本的文本實體和所述目標訓(xùn)練樣本的文本實體進行匹配,得到樣本匹配對。
3.如權(quán)利要求1所述的訓(xùn)練樣本生成的方法,其特征在于,在所述將所述樣本匹配對導(dǎo)入到預(yù)設(shè)的第一處理模型,得到初始目標樣本集,其中,所述初始目標樣本集包含若干個初始目標樣本之前,還包括:
獲取第一訓(xùn)練集,并生成所述第一訓(xùn)練集對應(yīng)的掩膜標識;
構(gòu)建初始第一處理模型,通過所述掩膜標識調(diào)整所述初始第一處理模型的掩膜矩陣;
通過所述第一訓(xùn)練集對掩膜矩陣調(diào)整后的所述初始第一處理模型進行模型訓(xùn)練,得到第一處理模型。
4.如權(quán)利要求3所述的訓(xùn)練樣本生成的方法,其特征在于,所述第一訓(xùn)練集包括初始樣本和目標樣本,通過調(diào)整所述掩膜矩陣可以調(diào)節(jié)所述初始第一處理模型的網(wǎng)絡(luò),以獲得單向模型、雙向模型和序列到序列模型,所述構(gòu)建初始第一處理模型,通過所述掩膜標識調(diào)整所述初始第一處理模型的掩膜矩陣的步驟,具體包括:
基于Transformer網(wǎng)絡(luò)結(jié)構(gòu)構(gòu)建所述初始第一處理模型;
通過所述掩膜標識對所述初始第一處理模型的掩膜矩陣進行第一調(diào)整,將所述初始第一處理模型調(diào)整為所述雙向模型,所述雙向模型用于處理所述初始樣本;
通過所述掩膜標識對所述初始第一處理模型的掩膜矩陣進行第二調(diào)整,將所述初始第一處理模型調(diào)整為所述單向模型,所述雙向模型用于處理所述目標樣本。
5.如權(quán)利要求3所述的訓(xùn)練樣本生成的方法,其特征在于,在所述通過所述第一訓(xùn)練集對掩膜矩陣調(diào)整后的所述初始第一處理模型進行模型訓(xùn)練,得到第一處理模型的步驟之后,還包括:
獲取第一驗證集,并將所述第一驗證集導(dǎo)入所述第一處理模型,得到驗證結(jié)果;
基于所述驗證結(jié)果與預(yù)設(shè)標準結(jié)果,使用反向傳播算法進行擬合,獲取處理誤差;
將處理誤差與預(yù)設(shè)誤差閾值進行比較,若所述處理誤差大于預(yù)設(shè)誤差閾值,則對第一處理模型進行迭代更新,直至所述處理誤差小于或等于預(yù)設(shè)誤差閾值為止;
輸出所述處理誤差小于或等于預(yù)設(shè)誤差閾值的第一處理模型。
6.如權(quán)利要求1至5任意一項所述的訓(xùn)練樣本生成的方法,其特征在于,所述將所述樣本匹配對導(dǎo)入到預(yù)設(shè)的第一處理模型,得到初始目標樣本集,其中,所述初始目標樣本集包含若干個初始目標樣本的步驟,具體包括:
依次對所述樣本匹配對中的每一個文本實體進行向量轉(zhuǎn)化,得到向量矩陣;
通過所述第一處理模型對所述向量矩陣進行處理,輸出的若干個初始目標樣本;
獲取所述第一處理模型輸出的若干個所述初始目標樣本,通過若干個所述初始目標樣本構(gòu)建所述初始目標樣本集。
該專利技術(shù)資料僅供研究查看技術(shù)是否侵權(quán)等信息,商用須獲得專利權(quán)人授權(quán)。該專利全部權(quán)利屬于平安普惠企業(yè)管理有限公司,未經(jīng)平安普惠企業(yè)管理有限公司許可,擅自商用是侵權(quán)行為。如果您想購買此專利、獲得商業(yè)授權(quán)和技術(shù)合作,請聯(lián)系【客服】
本文鏈接:http://www.szxzyx.cn/pat/books/202110705512.8/1.html,轉(zhuǎn)載請聲明來源鉆瓜專利網(wǎng)。
- 同類專利
- 專利分類
G06K 數(shù)據(jù)識別;數(shù)據(jù)表示;記錄載體;記錄載體的處理
G06K9-00 用于閱讀或識別印刷或書寫字符或者用于識別圖形,例如,指紋的方法或裝置
G06K9-03 .錯誤的檢測或校正,例如,用重復(fù)掃描圖形的方法
G06K9-18 .應(yīng)用具有附加代碼標記或含有代碼標記的打印字符的,例如,由不同形狀的各個筆畫組成的,而且每個筆畫表示不同的代碼值的字符
G06K9-20 .圖像捕獲
G06K9-36 .圖像預(yù)處理,即無須判定關(guān)于圖像的同一性而進行的圖像信息處理
G06K9-60 .圖像捕獲和多種預(yù)處理作用的組合





