[發(fā)明專利]文本分類模型調(diào)優(yōu)的超參數(shù)推薦方法、裝置及存儲介質(zhì)

有效

• 申請?zhí)枺?/td>: 202110496595.4
• 申請日: 2021-05-07
• 公開（公告）號: CN113220993B
• 公開（公告）日: 2023-09-26
• 發(fā)明（設(shè)計）人: 郝天永;雷順威;瞿瑛瑛
• 申請（專利權(quán)）人: 華南師范大學(xué)
• 主分類號: G06F16/9535
• 分類號: G06F16/9535;G06F16/35;G06N3/0464;G06N3/08
• 代理公司: 廣州嘉權(quán)專利商標事務(wù)所有限公司 44205
• 代理人: 黎揚鵬

本發(fā)明公開了一種文本分類模型調(diào)優(yōu)的超參數(shù)推薦方法、裝置及存儲介質(zhì)，該方法包括根據(jù)文本分類模型的超參數(shù)類型，構(gòu)建超參數(shù)組集；根據(jù)文本分類模型的類別體系與分類性能指標，計算得到第一組數(shù)據(jù)，第一組數(shù)據(jù)包括類別體系權(quán)重信息和總體分類性能指標權(quán)重信息；根據(jù)超參數(shù)組集，對文本分類模型進行訓(xùn)練與測試，得到第二組數(shù)據(jù)，第二組數(shù)據(jù)包括總體分類性能結(jié)果和類目分類性能結(jié)果集；根據(jù)第一組數(shù)據(jù)，對第二組數(shù)據(jù)進行計算，得到第三組數(shù)據(jù)，第三組數(shù)據(jù)包括總體分類性能綜合結(jié)果和類目分類性能綜合結(jié)果；對第三組數(shù)據(jù)進行排序，得到推薦的超參數(shù)組；本發(fā)明能夠提高深度學(xué)習(xí)文本分類模型調(diào)優(yōu)的效率；本發(fā)明可廣泛應(yīng)用于機器學(xué)習(xí)領(lǐng)域。

技術(shù)領(lǐng)域

本發(fā)明涉及機器學(xué)習(xí)領(lǐng)域，尤其是一種文本分類模型調(diào)優(yōu)的超參數(shù)推薦方法、裝置及存儲介質(zhì)。

背景技術(shù)

文本分類是機器學(xué)習(xí)領(lǐng)域尤其是自然語言處理中的一項重要任務(wù)，深度學(xué)習(xí)文本分類模型性能表現(xiàn)通常與超參數(shù)的選擇密切相關(guān)。超參數(shù)的選擇一般在模型訓(xùn)練前由人工確定，模型經(jīng)過訓(xùn)練測試后，再根據(jù)測試的性能結(jié)果對超參數(shù)進行調(diào)整，重新進行模型訓(xùn)練，對比超參數(shù)調(diào)整前后的結(jié)果差異，確定最終的超參數(shù)組合。在深度學(xué)習(xí)文本分類中，由于超參數(shù)的種類眾多，人工調(diào)整超參數(shù)的方式效率通常比較低下，難以快速、便捷、準確地得到最優(yōu)的超參數(shù)組合。

發(fā)明內(nèi)容

本發(fā)明旨在至少解決現(xiàn)有技術(shù)中存在的技術(shù)問題之一。為此，本發(fā)明提出一種文本分類模型調(diào)優(yōu)的超參數(shù)推薦方法、裝置及存儲介質(zhì)。

本發(fā)明所采取的技術(shù)方案是：

一方面，本發(fā)明實施例包括一種文本分類模型調(diào)優(yōu)的超參數(shù)推薦方法，包括：

根據(jù)文本分類模型的超參數(shù)類型，構(gòu)建超參數(shù)組集；

根據(jù)所述文本分類模型的類別體系與分類性能指標，計算得到第一組數(shù)據(jù)，所述第一組數(shù)據(jù)包括類別體系權(quán)重信息和總體分類性能指標權(quán)重信息；

根據(jù)所述超參數(shù)組集，對所述文本分類模型進行訓(xùn)練與測試，得到第二組數(shù)據(jù)，所述第二組數(shù)據(jù)包括總體分類性能結(jié)果和類目分類性能結(jié)果集；

根據(jù)所述第一組數(shù)據(jù)，對所述第二組數(shù)據(jù)進行計算，得到第三組數(shù)據(jù)，所述第三組數(shù)據(jù)包括總體分類性能綜合結(jié)果和類目分類性能綜合結(jié)果；

對所述第三組數(shù)據(jù)進行排序，得到推薦的超參數(shù)組。

進一步地，所述超參數(shù)類型包括離散型超參數(shù)和連續(xù)型超參數(shù)，所述根據(jù)文本分類模型的超參數(shù)類型，構(gòu)建超參數(shù)組集這一步驟，具體包括：

使用窮舉法枚舉所有取值范圍，構(gòu)建離散型超參數(shù)取值集合；

根據(jù)預(yù)設(shè)的取值范圍和預(yù)設(shè)的步長，進行離散化處理，構(gòu)建連續(xù)型超參數(shù)取值集合；

對所述離散型超參數(shù)取值集合和所述連續(xù)型超參數(shù)取值集合進行排列組合，得到所述超參數(shù)組集。

進一步地，所述分類性能指標包括準確率、精準率、召回率、F值中的至少一種，所述根據(jù)所述文本分類模型的類別體系與分類性能指標，計算得到第一組數(shù)據(jù)這一步驟，包括：

獲取所述文本分類模型的類別體系的集合為第一集合；

構(gòu)建第一判斷矩陣，所述第一判斷矩陣為n階判斷矩陣；

對所述第一判斷矩陣的每一列進行歸一化處理，得到第二判斷矩陣；

對所述第二判斷矩陣按列相加，得到第一特征向量；

對所述第一特征向量進行歸一化處理，得到第二特征向量；

若所述第一集合的元素數(shù)量大于第一預(yù)設(shè)值，根據(jù)所述第一判斷矩陣和所述第二特征向量，計算得到所述第一判斷矩陣的最大特征根；

根據(jù)所述最大特征根，計算所述第一判斷矩陣的一致性指標；