[發明專利]一種提升訓練數據生成速度的方法和設備

在審

• 申請號: 202110264862.5
• 申請日: 2021-03-12
• 公開（公告）號: CN112861506A
• 公開（公告）日: 2021-05-28
• 發明（設計）人: 沈華東;李軼杰;梁家恩
• 申請（專利權）人: 云知聲智能科技股份有限公司;廈門云知芯智能科技有限公司
• 主分類號: G06F40/20
• 分類號: G06F40/20
• 代理公司: 暫無信息
• 代理人: 暫無信息

本發明涉及一種提升訓練數據生成速度的方法和設備,該方法包括：確定待訓練的文本的字數以及每個訓練數據的矩陣的維度；基于橫向維度的值與縱向維度的值確定批處理數據的大小；通過字數與批處理數據的大小確定批處理數據的數量；根據批處理數據的數量確定訓練數據的數量；根據字數與橫向值確定采樣數據的大小；遍歷每個訓練數據，依次在每個矩陣的第Y個橫向維度導入預設個字的文本；在第Y個橫向維度導入的文本的總大小等于采樣數據的大小；更改Y的值后執行“依次在每個矩陣的第Y個橫向維度導入預設數量個字的文本”的操作，直到每個矩陣的所有的橫向維度均有文本導入，以生成訓練數據。本方案加快了訓練數據的生成過程。

技術領域

本發明涉及訓練數據處理技術領域，具體涉及一種提升訓練數據生成速度的方法和設備。

背景技術

目前大多數深度學習的語言模型的輸入數據是文本文件，而神經網絡接收的輸入是數值矩陣，所以神經網絡一般都是一邊處理文本數據，一邊把生成好的數據送入語言模型訓練；深度學習的語言模型transformerl-xl也是基于這樣的實現方式，且由于該模型需要聯系上文信息，所以數據生成方式是將所有文本合并成一個句子，再將句子以一定數目字數(batchsize)劃分一定數目個batch，生成輸入的模型的數據，這樣通過滑窗的方式獲取訓練數據；過程包括：[1…n](重構)[batchsize*batch_num](轉置)[batch_num*batchsize]。

由此可見，在語言模型transformerl-xl進行訓練時，存在以下一些問題：首先，如果訓練數據生成速度慢，而GPU訓練快，數據送出跟不上模型訓練，模型需要等待數據，導致訓練速度變慢；此外，訓練數據生成的方式需要先生成一個大矩陣，在對矩陣進行重構，轉置等操作，速度較慢。

由此，目前需要有一種更好的方案來解決現有技術中的問題。

發明內容

本發明提供一種提升訓練數據生成速度的方法和設備，能夠解決現有技術中訓練數據生成速度慢的技術問題。

本發明解決上述技術問題的技術方案如下：

本發明實施例提出了一種提升訓練數據生成速度的方法,包括：

確定待訓練的文本的字數以及每個訓練數據的矩陣的維度；所述維度包括橫向維度與縱向維度；

基于所述橫向維度的值與所述縱向維度的值確定批處理數據的大小；

通過所述字數與所述批處理數據的大小確定所述批處理數據的數量；

根據所述批處理數據的數量確定所述訓練數據的數量；

根據所述字數與所述橫向值確定采樣數據的大小；

遍歷每個所述訓練數據，依次在每個所述矩陣的第Y個所述橫向維度導入預設個字的所述文本；在第Y個所述橫向維度導入的所述文本的總大小等于所述采樣數據的大小；不同的所述矩陣中導入的所述文本不同；

更改Y的值后執行“依次在每個所述矩陣的第Y個所述橫向維度導入預設數量個字的所述文本”的操作，直到每個所述矩陣的所有的所述橫向維度均有文本導入，以生成所述訓練數據。

在一個具體的實施例中，所述訓練數據的大小與所述批處理數據的大小相同；

所述批處理數據的大小是通過所述橫向維度的值與所述縱向維度的值相乘得到的。

在一個具體的實施例中，所述訓練數據的數量與所述批處理數據的數量相同。

在一個具體的實施例中，所述采樣數據是基于保證相鄰的兩個所述訓練數據存在關聯信息，通過一定數據大小的間隔采樣得到的；

所述采樣數據的大小是通過所述字數除以所述橫向值得到的。

在一個具體的實施例中，所述預設數量為所述縱向維度的值；