[發明專利]用于模型訓練的數據獲取方法、裝置、設備及存儲介質

在審

• 申請號: 201810731678.5
• 申請日: 2018-07-05
• 公開（公告）號: CN110689033A
• 公開（公告）日: 2020-01-14
• 發明（設計）人: 黃纓寧;陳雨強;胡時偉;戴文淵
• 申請（專利權）人: 第四范式(北京)技術有限公司
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06F21/62
• 代理公司: 11452 北京展翼知識產權代理事務所(特殊普通合伙)
• 代理人: 王明遠

本發明提出了一種應用于模型訓練的數據獲取方法、裝置、設備以及存儲介質。獲取用戶的數據采集需求；對所述數據采集需求進行解析，以確定適于采集的數據所具有的關鍵字；以及采集具有所述關鍵字的數據。由此，在用戶的數據量不足的情況下，基于本發明可以準確獲取應用于模型訓練的數據，為后續數據標注、模型訓練，提供了數據支持。

技術領域

本發明總體來說涉及信息技術領域，更具體地講，涉及一種應用于模型訓練的數據獲取方法、裝置、設備以及存儲介質。

背景技術

機器學習是人工智能研究發展到一定階段的必然產物，其致力于通過計算的手段，利用經驗來改善系統自身的性能。在計算機系統中，“經驗”通常以“數據”形式存在，通過機器學習算法，可從數據中產生“模型”，也就是說，將經驗數據提供給機器學習算法，就能基于這些經驗數據產生模型，在面對新的樣例時，模型會提供相應的判斷，即，預測結果?？梢钥闯觯瑪祿鳛闄C器學習的原材料，影響著機器學習的最終效果。

可見，模型訓練過程是以足夠的數據為基礎，對于數據不足或者沒有數據的用戶，則難以訓練出用于解決特定問題的模型。

發明內容

本發明的示例性實施例在于提供一種應用于模型訓練的數據獲取方法、裝置、設備以及存儲介質，以解決上述問題。

根據本發明的第一個方面，提供了一種應用于模型訓練的數據獲取方法，包括：獲取用戶的數據采集需求；對數據采集需求進行解析，以確定適于采集的數據所具有的關鍵字；以及采集具有關鍵字的數據。

可選地，在用戶沒有上傳用于模型訓練的數據，或者，用戶上傳的用于模型訓練的數據的數據量小于預定閾值的情況下，獲取用戶的數據采集需求。

可選地，對數據采集需求進行解析的步驟包括：對數據采集需求進行語義分析，以確定用戶期望獲取的數據對象；或者，將通過對數據采集需求進行語義分析而確定的用戶期望獲取的數據對象應用于知識圖譜，以得到數據對象的衍生對象，其中，關鍵字指示數據對象和/或衍生對象。

可選地，采集具有關鍵字的數據的步驟包括：從數據庫中檢索具有關鍵字的數據，其中，數據庫中的數據為關鍵字已知的數據；并且/或者從網絡搜索具有關鍵字的數據；并且/或者生成用于采集具有關鍵字的數據的采集任務，將采集任務下發給一個或多個其他用戶，以由其他用戶采集具有關鍵字的數據。

可選地，數據獲取方法還包括：維護與用戶對應的用戶數據庫，并將采集到的數據存儲到用戶數據庫。

可選地，數據獲取方法還包括：根據模型訓練的預測目標，發布與預測目標相應的標注任務，獲取采集到的數據的標注結果，并將數據的標注結果與數據關聯地存儲到用戶數據庫。

可選地，數據獲取方法還包括：根據用戶的權限設置，確定用戶數據庫的對外使用權限，其中，在用戶數據庫被設置為對外開放的情況下，用戶數據庫中的數據可被其他用戶使用。

根據本發明的第二個方面，還提供了一種應用于模型訓練的數據獲取裝置，包括：獲取模塊，用于獲取用戶的數據采集需求；解析模塊，用于對數據采集需求進行解析，以確定適于采集的數據所具有的關鍵字；以及采集模塊，用于采集具有關鍵字的數據。

可選地，在用戶沒有上傳用于模型訓練的數據，或者，用戶上傳的用于模型訓練的數據的數據量小于預定閾值的情況下，獲取模塊獲取用戶的數據采集需求。

可選地，解析模塊對數據采集需求進行語義分析，以確定用戶期望獲取的數據對象，或者，解析模塊將通過對數據采集需求進行語義分析而確定的用戶期望獲取的數據對象應用于知識圖譜，以得到數據對象的衍生對象，其中，關鍵字指示數據對象和/或衍生對象。