[發明專利]一種數據處理方法、裝置、設備及介質

有效

• 申請號: 201911400060.1
• 申請日: 2019-12-30
• 公開（公告）號: CN111143724B
• 公開（公告）日: 2023-07-04
• 發明（設計）人: 朱沐勛;盧江虎;劉振強
• 申請（專利權）人: 廣州市百果園網絡科技有限公司
• 主分類號: G06F16/955
• 分類號: G06F16/955;G06F16/48;G06F16/58;G06F16/68;G06F16/78
• 代理公司: 北京品源專利代理有限公司 11332
• 代理人: 孟金喆

本發明公開了一種數據處理方法、裝置、設備及介質，涉及數據處理技術領域，該方法包括：依據數據庫查詢語句獲取鏈接數據，所述數據庫查詢語句為依據業務需求確定的；依據所述鏈接數據生成媒體鏈接列表信息；依據所述媒體鏈接列表信息確定待標注任務對應的媒體鏈接數據；基于所述待標注任務獲取所述媒體鏈接數據對應的審核主題數據；依據所述審核主題數據對應的選擇操作，確定媒體數據的標注結果，所述標注結果用于訓練所述媒體數據對應的審核模型。本發明實現了標注數據的自動化提交，解決了現有技術中因人工誤操作引入誤差的問題，減少算法人員的工作負擔，降低人工成本。

技術領域

本發明涉及數據處理技術領域，尤其涉及一種數據處理方法、裝置、設備及介質。

背景技術

目前，諸如音視頻社交類等應用程序中的圖片、音視頻的審核主要是依靠人工審核和人工智能機器審核。其中，對于人工智能機器審核而言，由于各個時間段內熱點不同，違規圖片、違規音頻、違規視頻的類型和方式可能會出現較大變化，由此導致的數據分布變化，會導致同樣的審核模型在不同時間段的表現出現較大的波動。因此，需要根據新產生的數據，重新進行標注，并且需要根據重新標注后的數據離線訓練新的審核模型，以及對新的模型進行評估并上線。

隨著音視頻社交類等應用程序的增多，相應的審核模型也逐漸增多，如色情違規審核模型、暴力血腥違規審核模型、涉政違規審核模型等違規審核模型逐漸增多，算法人員需要同時承擔多個不同審核模型的標注數據提交，增加算法人員的工作負擔。具體而言，現有各個審核模型均有自己的訓練數據和測試數據，且通常按照自己的需求和設計分散存儲各個位置中，即不同審核模型的訓練數據和測試數據分散存儲在不同的位置中，不利于數據維護；算法人員需要采用人工操作的方式，在不同存儲位置來獲取這些審核模型的訓練數據和測試數據，并對獲取到的這些測試數據和測試數據進行標注，操作繁瑣。此外，采用人工操作方式可能會因誤操作引入誤差，影響審核模型的審核結果的準確性。

發明內容

有鑒于此，本發明實施例提供一種數據處理方法、裝置、設備及介質，以實現標注數據的自動化提交，解決了現有技術中因人工誤操作引入誤差的問題，減少算法人員的工作負擔，降低人工成本。

第一方面，本發明實施例提供了一種數據處理方法，包括：

依據數據庫查詢語句獲取鏈接數據，所述數據庫查詢語句為依據業務需求確定的；

依據所述鏈接數據生成媒體鏈接列表信息；

依據所述媒體鏈接列表信息確定待標注任務對應的媒體鏈接數據；

基于所述待標注任務獲取所述媒體鏈接數據對應的審核主題數據；

依據所述審核主題數據對應的選擇操作，確定媒體數據的標注結果，所述標注結果用于訓練所述媒體數據對應的審核模型。

第二方面，本發明實施例還提供了一種數據處理裝置，包括：

鏈接數據獲取模塊，用于依據數據庫查詢語句獲取鏈接數據，所述數據庫查詢語句為依據業務需求確定的；

媒體鏈接列表生成模塊，用于依據所述鏈接數據生成媒體鏈接列表信息；

媒體鏈接數據確定模塊，用于依據所述媒體鏈接列表信息確定待標注任務對應的媒體鏈接數據；

審核主題數據獲取模塊，用于基于所述待標注任務獲取所述媒體鏈接數據對應的審核主題數據；

標注結果確定模塊，用于依據所述審核主題數據對應的選擇操作，確定媒體數據的標注結果，所述標注結果用于訓練所述媒體數據對應的審核模型。

第三方面，本發明實施例還提供了一種設備，包括：處理器和存儲器；所述存儲器中存儲有至少一條指令，所述指令由所述處理器執行，使得所述設備執行如第一方面所述的數據處理方法。