[發(fā)明專利]數(shù)據(jù)采樣方法、裝置、計(jì)算機(jī)設(shè)備和存儲介質(zhì)

在審

• 申請?zhí)枺?/td>: 202110262852.8
• 申請日: 2021-03-11
• 公開（公告）號: CN113032621A
• 公開（公告）日: 2021-06-25
• 發(fā)明（設(shè)計(jì)）人: 許壯;湯善敏;朱曉龍;紀(jì)曉龍;季興;李賜興;張正生;劉永升
• 申請（專利權(quán)）人: 超參數(shù)科技（深圳）有限公司
• 主分類號: G06F16/70
• 分類號: G06F16/70;G06F16/73;G06N20/00
• 代理公司: 廣州華進(jìn)聯(lián)合專利商標(biāo)代理有限公司 44224
• 代理人: 唐彩琴

本申請涉及一種數(shù)據(jù)采樣方法、裝置、計(jì)算機(jī)設(shè)備和存儲介質(zhì)。所述方法包括：基于預(yù)先建立的數(shù)據(jù)庫獲取多個鍵，得到候選鍵集合；所述數(shù)據(jù)庫中，源數(shù)據(jù)對應(yīng)的標(biāo)識信息存儲為鍵，所述源數(shù)據(jù)對應(yīng)的特征數(shù)據(jù)存儲為對應(yīng)的值；基于所述候選鍵集合進(jìn)行采樣，得到至少一個目標(biāo)鍵；基于所述至少一個目標(biāo)鍵從所述數(shù)據(jù)庫中查詢對應(yīng)的值，得到目標(biāo)特征數(shù)據(jù)；所述目標(biāo)特征數(shù)據(jù)用于作為訓(xùn)練樣本訓(xùn)練目標(biāo)機(jī)器學(xué)習(xí)模型。采用本方法能夠大大減少采樣耗時。

技術(shù)領(lǐng)域

本申請涉及計(jì)算機(jī)技術(shù)領(lǐng)域，特別是涉及一種數(shù)據(jù)采樣方法、裝置、計(jì)算機(jī)設(shè)備和存儲介質(zhì)。

背景技術(shù)

隨著計(jì)算機(jī)技術(shù)的發(fā)展，出現(xiàn)了人工智能技術(shù)，在人工智能領(lǐng)域經(jīng)常要進(jìn)行模型訓(xùn)練，在模型訓(xùn)練過程中，需要采樣訓(xùn)練數(shù)據(jù)來進(jìn)行模型訓(xùn)練。

現(xiàn)有技術(shù)中，通常是將所有可用于訓(xùn)練的待采樣數(shù)據(jù)直接存儲到數(shù)據(jù)庫中，每次采樣時，需要從數(shù)據(jù)庫中讀取所有數(shù)據(jù)并且輸出采樣結(jié)果到數(shù)據(jù)庫中，數(shù)據(jù)的讀取和寫入代價(jià)較大，采樣耗時較高。

發(fā)明內(nèi)容

基于此，有必要針對上述技術(shù)問題，提供一種能夠減少采樣耗時的數(shù)據(jù)采樣方法、裝置、計(jì)算機(jī)設(shè)備和存儲介質(zhì)。

一種數(shù)據(jù)采樣方法，所述方法包括：

基于預(yù)先建立的數(shù)據(jù)庫獲取多個鍵，得到候選鍵集合；

所述數(shù)據(jù)庫中，源數(shù)據(jù)對應(yīng)的標(biāo)識信息存儲為鍵，所述源數(shù)據(jù)對應(yīng)的特征數(shù)據(jù)存儲為對應(yīng)的值；

基于所述候選鍵集合進(jìn)行采樣，得到至少一個目標(biāo)鍵；

基于所述至少一個目標(biāo)鍵從所述數(shù)據(jù)庫中查詢對應(yīng)的值，得到目標(biāo)特征數(shù)據(jù)；所述目標(biāo)特征數(shù)據(jù)用于作為訓(xùn)練樣本訓(xùn)練目標(biāo)機(jī)器學(xué)習(xí)模型。

在一些實(shí)施例中，所述源數(shù)據(jù)為游戲視頻中的視頻幀；所述數(shù)據(jù)庫的建立步驟包括：

對于游戲視頻幀的每一幀視頻幀，提取所述視頻幀的特征，得到對應(yīng)的特征數(shù)據(jù)；

獲取游戲視頻的視頻標(biāo)識信息及所述視頻幀的視頻幀序號，根據(jù)所述視頻標(biāo)識信息及所述視頻幀的視頻幀序號得到所述視頻幀的標(biāo)識信息；

將所述視頻幀的標(biāo)識信息存儲為鍵，將所述視頻幀對應(yīng)的特征數(shù)據(jù)存儲為對應(yīng)的值，以建立所述數(shù)據(jù)庫。

在一些實(shí)施例中，所述提取所述視頻幀的特征，得到對應(yīng)的特征數(shù)據(jù)，包括：

獲取目標(biāo)字段信息；

基于所述目標(biāo)字段信息解析所述視頻幀，得到第一子特征數(shù)據(jù)；

基于所述目標(biāo)字段信息及所述第一子特征數(shù)據(jù)進(jìn)行計(jì)算，得到第二子特征數(shù)據(jù)；

將所述第一子特征數(shù)據(jù)和第二子特征數(shù)據(jù)組成形成所述特征數(shù)據(jù)。

在一些實(shí)施例中，所述基于所述候選鍵集合進(jìn)行采樣，得到至少一個目標(biāo)鍵包括：

獲取歷史鍵；所述歷史鍵為歷史目標(biāo)特征數(shù)據(jù)對應(yīng)的鍵；

基于所述歷史健對應(yīng)的視頻標(biāo)識信息和視頻幀序號從所述候選鍵集合確定所述歷史鍵對應(yīng)的關(guān)聯(lián)鍵，對所述關(guān)聯(lián)鍵進(jìn)行采樣，得到至少一個目標(biāo)鍵。

在一些實(shí)施例中，所述基于所述至少一個目標(biāo)鍵從所述數(shù)據(jù)庫中查詢對應(yīng)的值，得到目標(biāo)特征數(shù)據(jù)，包括：

從所述至少一個目標(biāo)鍵中隨機(jī)確定一個目標(biāo)鍵作為訓(xùn)練樣本鍵；

從所述數(shù)據(jù)庫中查詢所述訓(xùn)練樣本鍵對應(yīng)的值，得到所述目標(biāo)特征數(shù)據(jù)。

在一些實(shí)施例中，在所述基于預(yù)先建立的數(shù)據(jù)庫獲取多個鍵，得到候選鍵集合之前，所述方法還包括：

獲取預(yù)先配置的采樣條件；