[發明專利]標注數據采集方法、裝置、電子設備及存儲介質

有效

• 申請號: 202010309747.0
• 申請日: 2020-04-20
• 公開（公告）號: CN111522914B
• 公開（公告）日: 2023-05-12
• 發明（設計）人: 景少玲;趙東巖;謝海華;鄧昆鵬;陳志優
• 申請（專利權）人: 北大方正集團有限公司;北京大學;北大方正信息產業集團有限公司
• 主分類號: G06F16/33
• 分類號: G06F16/33;G06F16/332
• 代理公司: 北京同立鈞成知識產權代理有限公司 11205
• 代理人: 虞浩;臧建明

本發明提供了一種標注數據采集方法、裝置、電子設備及存儲介質，通過獲取第一輸入數據，其中，第一輸入數據用于表征待標注數據中的至少一個屬性，再利用預設問答算法，并根據第一輸入數據以及待標注數據生成第一輸出數據，建立待標注數據與問答邏輯的主導因素之間的關聯，以利用第一輸出數據來體現問答邏輯的起始點，預設問答算法根據問答邏輯的起始點推導問答邏輯的結果即第一輸出數據，再利用相似度等指標評判此推導結果，通過交互問答給予問答邏輯的中間關鍵信息和問答邏輯的可靠結果，實現了把問答邏輯全過程進行了標注采集，以此對智能算法模型進行優化訓練，進一步達到了使智能算法模型實現性能優化的目標。

技術領域

本發明涉及計算機數據處理領域，尤其涉及一種標注數據采集方法、裝置、電子設備及存儲介質。

背景技術

隨著計算機技術的發展，自然語言處理技術在智能機器人領域應用越來越廣泛。

其中，自然語言處理技術的核心是智能算法模型，其對用戶輸入的自然語言處理后形成對應的輸出，但是隨著用戶體驗需求的多樣化和時變性，智能算法模型也面臨著更新和優化以及個性化定制等等的優化任務，而對智能算法模型的優化訓練離不開研發人員對自然語言數據進行標注采集處理。目前，對于自然語言數據的標注處理主要分為三類：人工標注、半自動標注以及根據自然語言處理模型自動標注。而在上述的三類標注處理方式中，用戶均是通過將標注的最后答案逐個輸入并提交至自然語言數據采集平臺，以完成標注數據的采集。

但是，通過上述采集的方式所采集的標注數據無法為智能算法模型提供人類思考過程中產生的相關數據，進而滿足智能算法模型的多樣化和時變性的需求。

發明內容

本發明提供一種標注數據采集方法、裝置、電子設備及存儲介質，用以解決現有技術不能為自然語言處理算法優化訓練提供人類思考過程中產生的相關數據的技術問題。

第一方面，本發明提供一種標注數據采集方法，包括：

獲取第一輸入數據，所述第一輸入數據用于表征待標注數據中的至少一個屬性；

利用預設問答算法，并根據所述第一輸入數據以及所述待標注數據生成第一輸出數據；

將標注數據存儲至預設數據庫，所述標注數據包括所述第一輸入數據、所述待標注數據以及所述第一輸出數據，所述預設數據庫用于作為自然語言處理算法模型的訓練數據庫。

在一些可能的設計中，在所述利用預設問答算法，并根據所述第一輸入數據以及所述待標注數據生成第一輸出數據之后，還包括：

反饋所述第一輸出數據；

獲取第一變更數據，所述第一變更數據為所述第一輸出數據的更新數據，所述標注數據還包括所述第一變更數據。

在一些可能的設計中，在所述獲取第一變更數據之前，還包括：

獲取選擇指令，所述選擇指令用于確定所述輸出數據的有效性；

若所述第一輸出數據為無效數據，則獲取輸入關鍵詞，所述第一變更數據為基于所述輸入關鍵詞生成的；

若所述第一輸出數據為有效數據，則獲取基于所述第一輸出數據的修改數據，所述第一變更數據包括所述修改數據。

在一些可能的設計中，在所述獲取第一變更數據之后，還包括：

計算所述第一變更數據與所述第一輸出數據的第一相似度；

輸出所述第一相似度，并獲取基于所述第一相似度所反饋的第一有效性標識，所述標注數據還包括所述第一相似度以及所述第一有效性標識。

在一些可能的設計中，在所述獲取輸入關鍵詞之后，還包括：

確定所述待標注數據中與所述輸入關鍵詞滿足預設相似度的擬參考片段集合；