[發(fā)明專利]一種數(shù)據(jù)處理方法、裝置、設(shè)備及介質(zhì)

有效

• 申請?zhí)枺?/td>: 201911400060.1
• 申請日: 2019-12-30
• 公開（公告）號: CN111143724B
• 公開（公告）日: 2023-07-04
• 發(fā)明（設(shè)計）人: 朱沐勛;盧江虎;劉振強(qiáng)
• 申請（專利權(quán)）人: 廣州市百果園網(wǎng)絡(luò)科技有限公司
• 主分類號: G06F16/955
• 分類號: G06F16/955;G06F16/48;G06F16/58;G06F16/68;G06F16/78
• 代理公司: 北京品源專利代理有限公司 11332
• 代理人: 孟金喆

1.一種數(shù)據(jù)處理方法，其特征在于，包括：

依據(jù)數(shù)據(jù)庫查詢語句獲取鏈接數(shù)據(jù)，所述數(shù)據(jù)庫查詢語句為依據(jù)業(yè)務(wù)需求確定的，所述鏈接數(shù)據(jù)為媒體數(shù)據(jù)的鏈接；

依據(jù)所述鏈接數(shù)據(jù)生成媒體鏈接列表信息；

依據(jù)所述媒體鏈接列表信息確定待標(biāo)注任務(wù)對應(yīng)的媒體鏈接數(shù)據(jù)；

基于所述待標(biāo)注任務(wù)獲取所述媒體鏈接數(shù)據(jù)對應(yīng)的審核主題數(shù)據(jù)；

依據(jù)所述審核主題數(shù)據(jù)對應(yīng)的選擇操作，確定媒體數(shù)據(jù)的標(biāo)注結(jié)果，所述標(biāo)注結(jié)果用于訓(xùn)練所述媒體數(shù)據(jù)對應(yīng)的審核模型。

2.根據(jù)權(quán)利要求1所述的數(shù)據(jù)處理方法，其特征在于，

所述依據(jù)數(shù)據(jù)庫查詢語句獲取鏈接數(shù)據(jù)，包括：依據(jù)所述數(shù)據(jù)庫查詢語句從數(shù)據(jù)庫中獲取所述業(yè)務(wù)需求對應(yīng)的鏈接數(shù)據(jù)；

所述依據(jù)所述鏈接數(shù)據(jù)生成媒體鏈接列表信息，包括：下載所述鏈接數(shù)據(jù)對應(yīng)的媒體數(shù)據(jù)，并對下載到的媒體數(shù)據(jù)進(jìn)行保存，得到媒體路徑數(shù)據(jù)；依據(jù)所述媒體路徑數(shù)據(jù)和所述鏈接數(shù)據(jù)生成所述媒體鏈接列表信息。

3.根據(jù)權(quán)利要求2所述的數(shù)據(jù)處理方法，其特征在于，所述鏈接列表信息攜帶有媒體數(shù)據(jù)對應(yīng)的任務(wù)標(biāo)簽，所述依據(jù)所述媒體鏈接列表信息確定待標(biāo)注任務(wù)對應(yīng)的媒體鏈接數(shù)據(jù)，包括：

分別依據(jù)所述媒體鏈接列表信息中各媒體數(shù)據(jù)對應(yīng)的任務(wù)標(biāo)簽，確定各媒體數(shù)據(jù)的任務(wù)是否為待標(biāo)注任務(wù)；

若所述媒體數(shù)據(jù)的任務(wù)為待標(biāo)注任務(wù)，則從所述媒體鏈接列表信息中提取所述媒體數(shù)據(jù)對應(yīng)的媒體路徑數(shù)據(jù)，并將提取到的媒體路徑數(shù)據(jù)確定為所述待標(biāo)注任務(wù)對應(yīng)的媒體鏈接數(shù)據(jù)。

4.根據(jù)權(quán)利要求1至3任一所述的數(shù)據(jù)處理方法，其特征在于，基于所述待標(biāo)注任務(wù)獲取所述媒體鏈接數(shù)據(jù)對應(yīng)的審核主題數(shù)據(jù)，包括：

針對所述待標(biāo)注任務(wù)，將所述媒體鏈接數(shù)據(jù)發(fā)送給標(biāo)注系統(tǒng)；

獲取所述標(biāo)注系統(tǒng)針對媒體鏈接數(shù)據(jù)反饋的審核主題數(shù)據(jù)。

5.根據(jù)權(quán)利要求4所述的數(shù)據(jù)處理方法，其特征在于，在獲取所述標(biāo)注系統(tǒng)針對媒體鏈接數(shù)據(jù)反饋的審核主題數(shù)據(jù)之后，還包括：

依據(jù)所述審核主題數(shù)據(jù)顯示標(biāo)注頁面，所述標(biāo)注頁面包含至少一個標(biāo)注標(biāo)簽；

其中，依據(jù)所述審核主題數(shù)據(jù)對應(yīng)的選擇操作，確定媒體數(shù)據(jù)的標(biāo)注結(jié)果，包括：基于在所述標(biāo)注頁面接收到的選擇操作，從所述標(biāo)注頁面的標(biāo)注標(biāo)簽中提取選中標(biāo)注標(biāo)簽，并基于選中標(biāo)注標(biāo)簽確定所述媒體數(shù)據(jù)的標(biāo)注結(jié)果，所述媒體數(shù)據(jù)包括以下至少一種：圖片數(shù)據(jù)、視頻數(shù)據(jù)和音頻數(shù)據(jù)。

6.根據(jù)權(quán)利要求5所述的數(shù)據(jù)處理方法，其特征在于，在確定媒體數(shù)據(jù)的標(biāo)注結(jié)果之后，還包括：

對所述標(biāo)注結(jié)果進(jìn)行統(tǒng)計，得到標(biāo)注數(shù)量；

當(dāng)所述標(biāo)注數(shù)量與所述待標(biāo)注任務(wù)對應(yīng)的待標(biāo)注數(shù)量一致時，依據(jù)所述標(biāo)注結(jié)果和所述標(biāo)注結(jié)果對應(yīng)的媒體數(shù)據(jù)確定訓(xùn)練數(shù)據(jù)集和基準(zhǔn)數(shù)據(jù)集；

依據(jù)所述訓(xùn)練數(shù)據(jù)集訓(xùn)練出所述媒體數(shù)據(jù)對應(yīng)的審核模型；

依據(jù)所述審核模型和所述基準(zhǔn)數(shù)據(jù)集進(jìn)行數(shù)據(jù)清洗，得到數(shù)據(jù)清洗信息；

依據(jù)所述數(shù)據(jù)清洗信息對應(yīng)的用戶操作，對所述媒體鏈接數(shù)據(jù)對應(yīng)的標(biāo)簽結(jié)果進(jìn)行更新。

7.根據(jù)權(quán)利要求6所述的數(shù)據(jù)處理方法，其特征在于，所述依據(jù)所述訓(xùn)練數(shù)據(jù)集訓(xùn)練出所述媒體數(shù)據(jù)對應(yīng)的審核模型，包括：

基于獲取到的系統(tǒng)時間確定模型學(xué)習(xí)率；

按照所述模型學(xué)習(xí)率，采用所述訓(xùn)練數(shù)據(jù)集中的訓(xùn)練標(biāo)注結(jié)果和所述訓(xùn)練標(biāo)注結(jié)果對應(yīng)的媒體數(shù)據(jù)進(jìn)行模型訓(xùn)練，得到所述審核模型。

8.根據(jù)權(quán)利要求6所述的數(shù)據(jù)處理方法，其特征在于，所述依據(jù)所述審核模型和所述基準(zhǔn)數(shù)據(jù)集進(jìn)行數(shù)據(jù)清洗，得到數(shù)據(jù)清洗信息，包括：

將所述基準(zhǔn)數(shù)據(jù)集中的每一基準(zhǔn)媒體數(shù)據(jù)輸入到的審核模型中，得到每一基準(zhǔn)媒體數(shù)據(jù)對應(yīng)的模型輸出標(biāo)注結(jié)果；

當(dāng)同一基準(zhǔn)媒體數(shù)據(jù)對應(yīng)的模型輸出標(biāo)注結(jié)果與基準(zhǔn)標(biāo)注結(jié)果不一致時，將所述基準(zhǔn)媒體數(shù)據(jù)確定為待清洗數(shù)據(jù)，并基于所述待清洗數(shù)據(jù)確定數(shù)據(jù)清洗信息，其中，所述數(shù)據(jù)清洗信息包含所述待清洗數(shù)據(jù)對應(yīng)的基準(zhǔn)標(biāo)注結(jié)果和/或模型輸出標(biāo)注結(jié)果，所述基準(zhǔn)標(biāo)注結(jié)果為所述基準(zhǔn)媒體數(shù)據(jù)在所述基準(zhǔn)數(shù)據(jù)集中對應(yīng)的標(biāo)注結(jié)果。