[發(fā)明專利]數(shù)據(jù)獲取方法、裝置、電子設(shè)備及存儲介質(zhì)

有效

• 申請?zhí)枺?/td>: 202010881942.0
• 申請日: 2020-08-28
• 公開（公告）號: CN111737479B
• 公開（公告）日: 2020-11-17
• 發(fā)明（設(shè)計）人: 楊華;胡毅奇;劉云峰
• 申請（專利權(quán)）人: 深圳追一科技有限公司
• 主分類號: G06F16/35
• 分類號: G06F16/35;G06K9/62;G06N20/00
• 代理公司: 深圳市智圈知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 44351
• 代理人: 呂靜

本申請公開了一種數(shù)據(jù)獲取方法、裝置、電子設(shè)備及存儲介質(zhì)，涉及數(shù)據(jù)處理技術(shù)領(lǐng)域，該方法包括：獲取候選數(shù)據(jù)集，所述候選數(shù)據(jù)集包括多個第一候選子數(shù)據(jù)；將每個所述第一候選子數(shù)據(jù)輸入至初級網(wǎng)絡(luò)模型，得到每個所述第一候選子數(shù)據(jù)對應(yīng)的第一標簽、類別置信度和數(shù)據(jù)置信度；確定每個所述第一候選子數(shù)據(jù)對應(yīng)的所述類別置信度和所述數(shù)據(jù)置信度是否滿足預(yù)設(shè)條件；若所述第一候選子數(shù)據(jù)對應(yīng)的類別置信度和所述數(shù)據(jù)置信度滿足預(yù)設(shè)條件，則將所述第一標簽和所述第一標簽對應(yīng)的第一候選子數(shù)據(jù)存儲至所述預(yù)訓(xùn)練數(shù)據(jù)集，得到目標數(shù)據(jù)。本申請通過確定類別置信度與數(shù)據(jù)置信度是否滿足預(yù)設(shè)條件可以更加快速有效的獲取到目標數(shù)據(jù)。

技術(shù)領(lǐng)域

本申請涉及數(shù)據(jù)處理技術(shù)領(lǐng)域，更具體地，涉及一種數(shù)據(jù)獲取方法、裝置、電子設(shè)備及存儲介質(zhì)。

背景技術(shù)

隨著計算機技術(shù)的發(fā)展，機器學(xué)習(xí)算法的應(yīng)用越來越廣泛，人工智能正走入人們的生活，如平時線上購物中智能客服機器人就是基于用戶的問答訓(xùn)練數(shù)據(jù)獲取的，然而由于用戶的不斷增加，用戶數(shù)據(jù)正飛速累計，對海量的數(shù)據(jù)進行標記也成為目前急需解決的問題之一。

發(fā)明內(nèi)容

鑒于上述問題，本申請?zhí)岢隽艘环N數(shù)據(jù)獲取方法、裝置、電子設(shè)備及存儲介質(zhì)。

第一方面，本申請實施例提供了一種數(shù)據(jù)獲取方法，該方法包括：獲取候選數(shù)據(jù)集，候選數(shù)據(jù)集包括多個第一候選子數(shù)據(jù)，將每個第一候選子數(shù)據(jù)輸入至初級網(wǎng)絡(luò)模型，得到每個第一候選子數(shù)據(jù)對應(yīng)的第一標簽、類別置信度和數(shù)據(jù)置信度，第一標簽為第一候選子數(shù)據(jù)對應(yīng)的標簽數(shù)據(jù)，初級網(wǎng)絡(luò)模型由預(yù)訓(xùn)練數(shù)據(jù)集訓(xùn)練而成，預(yù)訓(xùn)練數(shù)據(jù)集包括多個訓(xùn)練數(shù)據(jù)和多個標簽數(shù)據(jù)，每個訓(xùn)練數(shù)據(jù)對應(yīng)一個標簽數(shù)據(jù)，數(shù)據(jù)置信度用于表示初級網(wǎng)絡(luò)模型在第一候選子數(shù)據(jù)上的訓(xùn)練效果，確定每個第一候選子數(shù)據(jù)對應(yīng)的類別置信度和數(shù)據(jù)置信度是否滿足預(yù)設(shè)條件，若第一候選子數(shù)據(jù)對應(yīng)的類別置信度和數(shù)據(jù)置信度滿足預(yù)設(shè)條件，則將第一標簽和第一標簽對應(yīng)的第一候選子數(shù)據(jù)存儲至預(yù)訓(xùn)練數(shù)據(jù)集，得到目標數(shù)據(jù)。

進一步地，確定每個第一候選子數(shù)據(jù)對應(yīng)的類別置信度和數(shù)據(jù)置信度是否滿足預(yù)設(shè)條件，包括：確定每個第一候選子數(shù)據(jù)的類別置信度是否大于第一置信閾值，第一置信閾值用于判斷第一候選子數(shù)據(jù)的類別置信度是否屬于高類別置信度；如果類別置信度大于第一置信閾值，則確定每個第一候選子數(shù)據(jù)的數(shù)據(jù)置信度是否大于第二置信閾值，第二置信閾值用于確定第一候選子數(shù)據(jù)的數(shù)據(jù)置信度的高低；若數(shù)據(jù)置信度大于第二置信閾值，則確定類別置信度和數(shù)據(jù)置信度滿足預(yù)設(shè)條件。

進一步地，如果類別置信度小于第一置信閾值，則確定類別置信度是否大于第三置信閾值，第三置信閾值小于第一置信閾值，第三置信閾值用于判斷第一候選子數(shù)據(jù)的類別置信度是否屬于中類別置信度或者低類別置信度，若類別置信度大于第三置信閾值，則接收用戶輸入的第二標簽，第二標簽與第一候選子數(shù)據(jù)對應(yīng)，將第二標簽和第一候選子數(shù)據(jù)存儲至預(yù)訓(xùn)練數(shù)據(jù)集，得到目標數(shù)據(jù)。

進一步地，如果類別置信度小于第三置信閾值，則確定數(shù)據(jù)置信度是否大于第二置信閾值，若數(shù)據(jù)置信度大于第二置信閾值，則接收用戶輸入的第二標簽，第二標簽與第一候選子數(shù)據(jù)對應(yīng)，將第二標簽和第一候選子數(shù)據(jù)存儲至預(yù)訓(xùn)練數(shù)據(jù)集，得到目標數(shù)據(jù)。

進一步地，當(dāng)類別置信度小于第三置信閾值，且數(shù)據(jù)置信度小于第二置信閾值時，接收用戶輸入的第二候選子數(shù)據(jù)，第二候選子數(shù)據(jù)與第一標簽對應(yīng)，將第二候選子數(shù)據(jù)和第一標簽存儲至預(yù)訓(xùn)練數(shù)據(jù)集，得到目標數(shù)據(jù)。

進一步地，將每個第一候選子數(shù)據(jù)輸入至初級網(wǎng)絡(luò)模型，得到每個第一候選子數(shù)據(jù)對應(yīng)的第一標簽、類別置信度和數(shù)據(jù)置信度之前，還包括：獲取驗證數(shù)據(jù)集，驗證數(shù)據(jù)集包括多個標準候選數(shù)據(jù)和標準候選數(shù)據(jù)數(shù)據(jù)對應(yīng)的標準標簽；將驗證數(shù)據(jù)集輸入至初級網(wǎng)絡(luò)模型，得到每個標準候選數(shù)據(jù)對應(yīng)的預(yù)測標簽和預(yù)測概率；根據(jù)標準標簽和預(yù)測標簽對標準候選數(shù)據(jù)進行分類，得到多個類別的驗證子數(shù)據(jù)集；獲取每個類別下驗證子數(shù)據(jù)集對應(yīng)的預(yù)測概率平均值，并將預(yù)測概率平均值作為該類別對應(yīng)的類別置信度。