[發明專利]用于模型訓練的數據獲取方法、裝置、設備及存儲介質

在審

• 申請號: 201810731678.5
• 申請日: 2018-07-05
• 公開（公告）號: CN110689033A
• 公開（公告）日: 2020-01-14
• 發明（設計）人: 黃纓寧;陳雨強;胡時偉;戴文淵
• 申請（專利權）人: 第四范式(北京)技術有限公司
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06F21/62
• 代理公司: 11452 北京展翼知識產權代理事務所(特殊普通合伙)
• 代理人: 王明遠

1.一種應用于模型訓練的數據獲取方法，其特征在于，包括：

獲取用戶的數據采集需求；

對所述數據采集需求進行解析，以確定適于采集的數據所具有的關鍵字；以及

采集具有所述關鍵字的數據。

2.根據權利要求1所述的數據獲取方法，其特征在于，

在用戶沒有上傳用于模型訓練的數據，或者，用戶上傳的用于模型訓練的數據的數據量小于預定閾值的情況下，獲取用戶的數據采集需求。

3.根據權利要求1所述的數據獲取方法，其特征在于，所述對數據采集需求進行解析的步驟包括：

對所述數據采集需求進行語義分析，以確定用戶期望獲取的數據對象；或者，

將通過對所述數據采集需求進行語義分析而確定的用戶期望獲取的數據對象應用于知識圖譜，以得到所述數據對象的衍生對象，

其中，所述關鍵字指示所述數據對象和/或所述衍生對象。

4.根據權利要求1所述的數據獲取方法，其特征在于，所述采集具有所述關鍵字的數據的步驟包括：

從數據庫中檢索具有所述關鍵字的數據，其中，所述數據庫中的數據為關鍵字已知的數據；并且/或者

從網絡搜索具有所述關鍵字的數據；并且/或者

生成用于采集具有所述關鍵字的數據的采集任務，將所述采集任務下發給一個或多個其他用戶，以由其他用戶采集具有所述關鍵字的數據。

5.根據權利要求1所述的數據獲取方法，其特征在于，還包括：

維護與所述用戶對應的用戶數據庫，并將采集到的數據存儲到所述用戶數據庫。

6.根據權利要求5所述的數據獲取方法，其特征在于，還包括：

根據模型訓練的預測目標，發布與預測目標相應的標注任務，獲取采集到的數據的標注結果，并將所述數據的標注結果與所述數據關聯地存儲到所述用戶數據庫。

7.根據權利要求5或6所述的數據獲取方法，其特征在于，還包括：

根據用戶的權限設置，確定所述用戶數據庫的對外使用權限，其中，在所述用戶數據庫被設置為對外開放的情況下，所述用戶數據庫中的數據可被其他用戶使用。

8.一種應用于模型訓練的數據獲取裝置，其特征在于，包括：

獲取模塊，用于獲取用戶的數據采集需求；

解析模塊，用于對所述數據采集需求進行解析，以確定適于采集的數據所具有的關鍵字；以及

采集模塊，用于采集具有所述關鍵字的數據。

9.一種計算設備，包括：

處理器；以及

存儲器，其上存儲有可執行代碼，當所述可執行代碼被所述處理器執行時，使所述處理器執行如權利要求1-7中任何一項所述的方法。

10.一種非暫時性機器可讀存儲介質，其上存儲有可執行代碼，當所述可執行代碼被電子設備的處理器執行時，使所述處理器執行如權利要求1至7中任一項所述的方法。