[發明專利]樣本數據的處理方法、裝置、服務器和存儲介質在審
| 申請號: | 201910322574.3 | 申請日: | 2019-04-22 |
| 公開(公告)號: | CN110263803A | 公開(公告)日: | 2019-09-20 |
| 發明(設計)人: | 郭亞;趙智源;周書恒;祝慧佳 | 申請(專利權)人: | 阿里巴巴集團控股有限公司 |
| 主分類號: | G06K9/62 | 分類號: | G06K9/62 |
| 代理公司: | 北京三友知識產權代理有限公司 11127 | 代理人: | 李輝 |
| 地址: | 英屬開曼*** | 國省代碼: | 開曼群島;KY |
| 權利要求書: | 查看更多 | 說明書: | 查看更多 |
| 摘要: | |||
| 搜索關鍵詞: | 標注信息 目標樣本 樣本數據 標注 多個目標 存儲介質 目標數據 服務器 篩選 一致性程度 不確定度 數據誤差 數據攜帶 質量符合 預設 量化 攜帶 | ||
1.一種樣本數據的處理方法,包括:
獲取多個目標樣本數據,其中,所述目標樣本數據攜帶有標注信息;
根據所述目標樣本數據所攜帶的標注信息,確定目標樣本數據的標注信息熵;
根據所述目標樣本數據的標注信息熵,從所述多個目標樣本數據中確定出標注質量符合預設的質量要求的目標樣本數據作為第一目標數據。
2.根據權利要求1所述的方法,在根據所述目標樣本數據的標注信息熵,從所述多個目標樣本數據中確定出標注質量符合預設的質量要求的目標樣本數據作為第一目標數據后,所述方法還包括:
利用所述第一目標數據,進行風險識別模型的訓練。
3.根據權利要求1所述的方法,獲取多個目標樣本數據,包括:
獲取多個標注后的樣本數據;
確定標注后的樣本數據的標注源的數量;
從所述多個標注后的樣本數據中篩選出標注源的數量大于等于2的標注后的樣本數據作為所述目標樣本數據。
4.根據權利要求3所述的方法,從所述多個標注后的樣本數據中篩選出標注源的數量大于等于2的標注后的樣本數據作為所述目標樣本數據后,所述方法還包括:
從所述多個標注后的樣本數據中篩選出標注源的數量等于1的標注后的樣本數據作為第二目標數據。
5.根據權利要求3所述的方法,根據所述目標樣本數據所攜帶的標注信息,確定目標樣本數據的標注信息熵,包括:
統計所述目標樣本數據所攜帶的標注信息所對應的標注源的數量;
根據所述目標樣本數據所攜帶的標注信息所對應的標注源的數量,按照預設規則計算出所述目標樣本數據的標注信息熵。
6.根據權利要求1所述的方法,根據所述目標樣本數據的標注信息熵,從所述多個目標樣本數據中確定出標注質量符合預設的質量要求的目標樣本數據作為第一目標數據,包括:
將所述多個目標樣本數據的標注信息熵分別與預設的信息熵閾值進行數值比較,得到比較結果;
根據所述比較結果,將標注信息熵小于等于所述預設的信息熵閾值的目標樣本數據確定為所述第一目標數據。
7.根據權利要求6所述的方法,在將所述多個目標樣本數據的標注信息熵分別與預設的信息熵閾值進行數值比較,得到比較結果后,所述方法還包括:
根據所述比較結果,將標注信息熵大于所述預設的信息熵閾值的目標樣本數據確定為第二目標數據;
重新標注所述第二目標數據所對應的樣本數據。
8.根據權利要求7所述的方法,重新標注所述第二目標數據所對應的樣本數據,包括:
調用多個預設標注源按照預設的標注規則分別對所述第二目標數據所對應的樣本數據進行標注,得到重新標注后的樣本數據;
檢測所述重新標注后的樣本數據的標注質量是否符合預設的質量要求;
在確定所述重新標注后的樣本數據的標注質量符合預設的質量要求的情況下,將所述重新標注后的樣本數據確定為第一目標數據。
9.根據權利要求8所述的方法,在檢測所述重新標注后的樣本數據的標注質量是否符合預設的質量要求后,所述方法還包括:
在確定所述重新標注后的樣本數據的標注質量不符合預設的質量要求的情況下,調用多個預設標注源按照預設的標注規則對所述第二目標數據所對應的樣本數據進行多輪標注,得到多輪標注后的樣本數據作為第三目標數據;
確定所述第三目標數據的標注信息熵;
檢測所述第三目標數據的標注信息熵的變化趨勢是否符合預設的變化要求;
在確定所述第三目標數據的標注信息熵的變化趨勢不符合預設的變化要求的情況下,對以下至少之一進行檢查和調整:標注源、預設的標注規則和第三目標數據所對應的樣本數據。
該專利技術資料僅供研究查看技術是否侵權等信息,商用須獲得專利權人授權。該專利全部權利屬于阿里巴巴集團控股有限公司,未經阿里巴巴集團控股有限公司許可,擅自商用是侵權行為。如果您想購買此專利、獲得商業授權和技術合作,請聯系【客服】
本文鏈接:http://www.szxzyx.cn/pat/books/201910322574.3/1.html,轉載請聲明來源鉆瓜專利網。





