[發(fā)明專利]一種深度學(xué)習(xí)模型的自動化訓(xùn)練與測試系統(tǒng)

在審

• 申請?zhí)枺?/td>: 202011566027.9
• 申請日: 2020-12-25
• 公開（公告）號: CN112699994A
• 公開（公告）日: 2021-04-23
• 發(fā)明（設(shè)計）人: 陳楷;廖奇;馮世杰;蔡勁松
• 申請（專利權(quán)）人: 科訊嘉聯(lián)信息技術(shù)有限公司
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06N3/08
• 代理公司: 合肥律眾知識產(chǎn)權(quán)代理有限公司 34147
• 代理人: 殷娟

1.一種深度學(xué)習(xí)模型的自動化訓(xùn)練與測試系統(tǒng)，其特征在于，包括用戶端、管理服務(wù)器、若干執(zhí)行服務(wù)器和文件服務(wù)器；

所述用戶端包括用于提交任務(wù)的web界面和用于推送任務(wù)至管理服務(wù)器的應(yīng)用后臺；

所述管理服務(wù)器用于分發(fā)任務(wù)至資源充足的執(zhí)行服務(wù)器，并將執(zhí)行服務(wù)器反饋的任務(wù)進(jìn)度經(jīng)應(yīng)用后臺反饋至web界面；

所述執(zhí)行服務(wù)器用于執(zhí)行任務(wù)，同時采用固定頻率心跳保存對應(yīng)epoch算法效果及任務(wù)進(jìn)度，并同步給管理服務(wù)器維護(hù)；

所述文件服務(wù)器用于存儲訓(xùn)練/測試用數(shù)據(jù)集，訓(xùn)練后生成的訓(xùn)練結(jié)果文件，以及測試后生成的測試結(jié)果文件；

所述管理服務(wù)器周期性獲取所有執(zhí)行服務(wù)器的資源信息，以及正在進(jìn)行的任務(wù)列表詳情，資源信息至少包括CPU使用率、內(nèi)存使用率、剩余內(nèi)存、顯存利用率、剩余顯存、剩余磁盤空間，任務(wù)列表詳情至少包括當(dāng)前執(zhí)行服務(wù)器所有正在處理任務(wù)的任務(wù)編號、任務(wù)進(jìn)度、任務(wù)效果。

2.根據(jù)權(quán)利要求1所述的深度學(xué)習(xí)模型的自動化訓(xùn)練與測試系統(tǒng)，其特征在于，數(shù)據(jù)集由用戶提交至文件服務(wù)器，任務(wù)由用戶根據(jù)用戶名稱、業(yè)務(wù)名稱、算法名稱在web界面進(jìn)行創(chuàng)建。

3.根據(jù)權(quán)利要求1所述的深度學(xué)習(xí)模型的自動化訓(xùn)練與測試系統(tǒng)，其特征在于，執(zhí)行服務(wù)器接收到任務(wù)，根據(jù)用戶名稱、業(yè)務(wù)名稱、算法名稱在文件服務(wù)器查找已訓(xùn)練完成的同用戶同業(yè)務(wù)同算法下的歷史模型；

若有歷史模型則下載該歷史模型并校驗其標(biāo)注類型及順序編號是否一致，若一致則基于該歷史模型進(jìn)行優(yōu)化訓(xùn)練；若無歷史模型或者標(biāo)注類型及順序編號不一致，則采用baseline模型進(jìn)行訓(xùn)練。

4.根據(jù)權(quán)利要求3所述的深度學(xué)習(xí)模型的自動化訓(xùn)練與測試系統(tǒng)，其特征在于，執(zhí)行服務(wù)器從文件服務(wù)器下載數(shù)據(jù)集到本地進(jìn)行解析及格式轉(zhuǎn)換；

若是同任務(wù)下的全量訓(xùn)練，則下載所有同任務(wù)歷史相關(guān)數(shù)據(jù)并校驗，具有相同標(biāo)準(zhǔn)的數(shù)據(jù)加入到當(dāng)前指定的數(shù)據(jù)集中；

若是同任務(wù)下的增量訓(xùn)練，則僅下載當(dāng)前數(shù)據(jù)，并根據(jù)文件類型及其數(shù)據(jù)格式進(jìn)行解析，轉(zhuǎn)存至對應(yīng)目錄下。

5.根據(jù)權(quán)利要求1所述的深度學(xué)習(xí)模型的自動化訓(xùn)練與測試系統(tǒng)，其特征在于，管理服務(wù)器接收到任務(wù)后，根據(jù)節(jié)點路由算法選舉出執(zhí)行服務(wù)器，節(jié)點路由算法具體操作為，歸一化處理剩余內(nèi)存、剩余顯存、剩余磁盤空間及任務(wù)響應(yīng)時間，按照既定權(quán)重，加權(quán)計算每個執(zhí)行服務(wù)器的綜合得分，向得分最高的執(zhí)行服務(wù)器分發(fā)任務(wù)。

6.根據(jù)權(quán)利要求5所述的深度學(xué)習(xí)模型的自動化訓(xùn)練與測試系統(tǒng)，其特征在于，強制校驗各執(zhí)行服務(wù)器CPU最高使用率，內(nèi)存的最高使用率，顯存最高使用率，若其值超出設(shè)定閾值，則該執(zhí)行服務(wù)器綜合得分強制評為0。

7.根據(jù)權(quán)利要求1所述的深度學(xué)習(xí)模型的自動化訓(xùn)練與測試系統(tǒng)，其特征在于，訓(xùn)練任務(wù)結(jié)束后，執(zhí)行服務(wù)器將本次訓(xùn)練任務(wù)形成的訓(xùn)練文件進(jìn)行打包上傳至文件服務(wù)器，訓(xùn)練文件至少包含配置文件、詞匯文件、標(biāo)簽文件、模型文件；與此同時，通知應(yīng)用后臺訓(xùn)練結(jié)束，并將結(jié)果異步通知給應(yīng)用后臺指定的url。

8.根據(jù)權(quán)利要求1所述的深度學(xué)習(xí)模型的自動化訓(xùn)練與測試系統(tǒng)，其特征在于，測試任務(wù)結(jié)束后，執(zhí)行服務(wù)器統(tǒng)計各標(biāo)簽效果，將數(shù)據(jù)集中未正確預(yù)測的數(shù)據(jù)保存至對應(yīng)目錄下，打包上傳到文件服務(wù)器，并通知應(yīng)用后臺測試結(jié)果。