[發(fā)明專利]分類模型的處理方法、裝置、電子設(shè)備及存儲介質(zhì)

有效

• 申請?zhí)枺?/td>: 201811143313.7
• 申請日: 2018-09-28
• 公開（公告）號: CN109447125B
• 公開（公告）日: 2019-12-24
• 發(fā)明（設(shè)計）人: 張志偉;夏雨;汪笑
• 申請（專利權(quán)）人: 北京達佳互聯(lián)信息技術(shù)有限公司
• 主分類號: G06K9/62
• 分類號: G06K9/62
• 代理公司: 11319 北京潤澤恒知識產(chǎn)權(quán)代理有限公司
• 代理人: 莎日娜

本申請是關(guān)于一種分類模型的處理方法、裝置、電子設(shè)備及存儲介質(zhì)。獲取待評估分類模型和至少兩個樣本數(shù)據(jù)；獲取標簽體系與待評估分類模型的標簽體系相同的參考分類模型；使用待評估分類模型預(yù)測每一個樣本數(shù)據(jù)分別屬于每一個預(yù)設(shè)標簽的新概率；使用參考分類模型預(yù)測每一個樣本數(shù)據(jù)分別屬于每一個預(yù)設(shè)標簽的參考概率；根據(jù)新概率和參考概率繪制待評估分類模型對應(yīng)于每一個預(yù)設(shè)標簽的準召曲線。通過本申請，無需人工標注樣本數(shù)據(jù)的標注標簽，通過標簽體系與待評估分類模型的標簽體系相同的參考分類模型就可以預(yù)測每一個樣本數(shù)據(jù)分別屬于每一個預(yù)設(shè)標簽的參考概率，從而可以降低人工成本并提高效率。

技術(shù)領(lǐng)域

本申請涉及計算機技術(shù)領(lǐng)域，尤其涉及一種分類模型的處理方法、裝置、電子設(shè)備及存儲介質(zhì)。

背景技術(shù)

當前，深度學(xué)習(xí)在視頻圖像、語音識別以及自然語言處理等相關(guān)領(lǐng)域得到了廣泛應(yīng)用。卷積神經(jīng)網(wǎng)絡(luò)作為深度學(xué)習(xí)的一個重要分支，由于其超強的擬合能力以及端到端的全局優(yōu)化能力，使得圖像分類任務(wù)在應(yīng)用卷積神經(jīng)網(wǎng)絡(luò)之后，預(yù)測精度大幅提升。

雖然基于卷積神經(jīng)網(wǎng)絡(luò)的分類模型的預(yù)測精度大幅度提升，但是遠未達到100％的準確度，所以對分類模型優(yōu)化是一個永恒的話題。

目前優(yōu)化分類模型的基本思路是使用最新的數(shù)據(jù)集，重新訓(xùn)練一個與原有的分類模型的標簽體系相同的新的分類模型。隨著數(shù)據(jù)集的積累，使用更多的數(shù)據(jù)更優(yōu)的網(wǎng)絡(luò)結(jié)構(gòu)確實可以訓(xùn)練出更好的分類模型。但是，在真實的應(yīng)用場景中，往往首先需要對新的分類模型評估，評估結(jié)果滿足要求后才能將新的分類模型直接應(yīng)用到線上替換原有的分類模型。

其中，在對新的分類模型評估時，需要人工篩選出樣本數(shù)據(jù)，并在至少兩個預(yù)設(shè)標簽中人工標注樣本數(shù)據(jù)的標注標簽，再使用新的分類模型預(yù)測樣本數(shù)據(jù)屬于每一個預(yù)設(shè)標簽的概率，并根據(jù)樣本數(shù)據(jù)屬于每一個預(yù)設(shè)標簽的概率和樣本數(shù)據(jù)的標注標簽人工確定新的分類模型對樣本數(shù)據(jù)的預(yù)測結(jié)果是否準確，進而繪制新的分類模型對應(yīng)于每一個預(yù)設(shè)標簽的準召曲線，之后根據(jù)準召曲線確定評估結(jié)果。

然而，發(fā)明人發(fā)現(xiàn)，當預(yù)設(shè)標簽較多且樣本數(shù)據(jù)較多時，對樣本數(shù)據(jù)人工標注的工作量非常高，耗時較長，且人工成本較高。

發(fā)明內(nèi)容

為克服相關(guān)技術(shù)中存在的問題，本申請?zhí)峁┮环N分類模型的處理方法、裝置、電子設(shè)備及存儲介質(zhì)。

根據(jù)本申請實施例的第一方面，提供一種分類模型的處理方法，所述方法包括：

獲取待評估分類模型和至少兩個樣本數(shù)據(jù)；

獲取標簽體系與所述待評估分類模型的標簽體系相同的參考分類模型；

使用所述待評估分類模型預(yù)測每一個樣本數(shù)據(jù)分別屬于每一個預(yù)設(shè)標簽的新概率；

使用所述參考分類模型預(yù)測每一個樣本數(shù)據(jù)分別屬于每一個預(yù)設(shè)標簽的參考概率；

根據(jù)每一個樣本數(shù)據(jù)屬于每一個預(yù)設(shè)標簽的新概率和每一個樣本數(shù)據(jù)屬于每一個預(yù)設(shè)標簽的參考概率，繪制所述待評估分類模型對應(yīng)于每一個預(yù)設(shè)標簽的準召曲線。

在一個可選的實現(xiàn)方式中，所述根據(jù)每一個樣本數(shù)據(jù)屬于每一個預(yù)設(shè)標簽的新概率和每一個樣本數(shù)據(jù)屬于每一個預(yù)設(shè)標簽的參考概率，繪制所述待評估分類模型對應(yīng)于每一個預(yù)設(shè)標簽的準召曲線，包括：

根據(jù)每一個樣本數(shù)據(jù)屬于每一個預(yù)設(shè)標簽的參考概率判斷每一個樣本數(shù)據(jù)屬于每一個預(yù)設(shè)標簽的新概率的準確度；

根據(jù)每一個樣本數(shù)據(jù)分別屬于每一個預(yù)設(shè)標簽的新概率的準確度繪制所述待評估分類模型對應(yīng)于每一個預(yù)設(shè)標簽的準召曲線。

在一個可選的實現(xiàn)方式中，所述根據(jù)每一個樣本數(shù)據(jù)屬于每一個預(yù)設(shè)標簽的參考概率判斷每一個樣本數(shù)據(jù)屬于每一個預(yù)設(shè)標簽的新概率的準確度，包括：