[發(fā)明專利]一種基于動(dòng)態(tài)參數(shù)配置和過程監(jiān)督的智能建模方法與系統(tǒng)

有效

• 申請(qǐng)?zhí)枺?/td>: 202111480477.0
• 申請(qǐng)日: 2021-12-07
• 公開（公告）號(hào): CN113886026B
• 公開（公告）日: 2022-03-15
• 發(fā)明（設(shè)計(jì)）人: 徐偉民;崔雋;吳姍姍;后弘毅;郝大鑫
• 申請(qǐng)（專利權(quán)）人: 中國(guó)電子科技集團(tuán)公司第二十八研究所
• 主分類號(hào): G06F9/455
• 分類號(hào): G06F9/455;G06N3/04;G06N3/08
• 代理公司: 南京蘇高專利商標(biāo)事務(wù)所(普通合伙) 32204
• 代理人: 孟紅梅

本發(fā)明提出了一種基于動(dòng)態(tài)參數(shù)配置和過程監(jiān)督的智能建模方法與系統(tǒng)。面向開發(fā)人員，提供可視化界面來動(dòng)態(tài)編輯調(diào)整模型構(gòu)建代碼腳本的參數(shù)，使代碼腳本運(yùn)行隨開發(fā)人員的主觀意愿動(dòng)態(tài)適配變化，由此構(gòu)建訓(xùn)練出滿足開發(fā)人員需要的智能模型；同時(shí)，通過代碼腳本集成tensorboard的框架方法，啟動(dòng)一個(gè)監(jiān)控服務(wù)，隨模型構(gòu)建訓(xùn)練的代碼腳本的運(yùn)行，記錄其運(yùn)行過程中一些關(guān)鍵數(shù)據(jù)信息和參數(shù)指標(biāo)的變化，從而對(duì)智能建模的任務(wù)進(jìn)行過程監(jiān)督，方便開發(fā)人員根據(jù)模型訓(xùn)練過程中重要參數(shù)的變化情況來做出決策，重新調(diào)整腳本參數(shù)進(jìn)行模型的二次訓(xùn)練構(gòu)建。以上相互協(xié)作，相輔相成，使開發(fā)人員可以高效便捷地進(jìn)行智能模型的構(gòu)建。

技術(shù)領(lǐng)域

本發(fā)明屬于深度學(xué)習(xí)構(gòu)建神經(jīng)網(wǎng)絡(luò)領(lǐng)域，尤其涉及一種基于動(dòng)態(tài)參數(shù)配置和過程監(jiān)督的智能建模方法與系統(tǒng)。

背景技術(shù)

Docker是基于Go語言實(shí)現(xiàn)的開源容器項(xiàng)目，誕生于2013年年初，最初發(fā)起者是dotCloud公司。目前已有多個(gè)相關(guān)項(xiàng)目（包括Docker三劍客、Kubernates等），逐漸形成了圍繞Docker容器的生態(tài)體系。Docker的構(gòu)想是通過對(duì)應(yīng)用的封裝、分發(fā)、部署、運(yùn)行生命周期進(jìn)行管理，達(dá)到應(yīng)用組件“一次封裝，到處運(yùn)行的目的”。這里的應(yīng)用組件，既可以是一個(gè)Web應(yīng)用、一個(gè)編譯環(huán)境，也可以是一套數(shù)據(jù)庫平臺(tái)服務(wù)，甚至是一個(gè)操作系統(tǒng)或集群?；贚inux平臺(tái)上的多項(xiàng)開源技術(shù)，Docker提供了高效、敏捷和輕量化的容器方案，并支持部署到本地環(huán)境和多種主流云平臺(tái)。

Kubernetes（K8s）是Google公司開源的容器集群管理系統(tǒng)，主要功能包括：基于容器的應(yīng)用部署、維護(hù)和滾動(dòng)升級(jí)；負(fù)載均衡和服務(wù)發(fā)現(xiàn)；跨機(jī)器和跨地區(qū)的集群調(diào)度；自動(dòng)伸縮；無狀態(tài)服務(wù)和有狀態(tài)服務(wù)；廣泛的Volume支持；插件機(jī)制保證擴(kuò)展性。Kubernetes系統(tǒng)最核心的兩個(gè)設(shè)計(jì)理念：一個(gè)是容錯(cuò)性，一個(gè)是易擴(kuò)展性。容錯(cuò)性實(shí)際是保證K8s系統(tǒng)穩(wěn)定性和安全性的基礎(chǔ)，易擴(kuò)展性是保證K8s對(duì)變更友好，可以快速迭代增加新功能的基礎(chǔ)。

深度學(xué)習(xí)（Deep Learning）是近年來興起的機(jī)器學(xué)習(xí)范式，深度學(xué)習(xí)利用多層（深度）神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，從大數(shù)據(jù)中學(xué)習(xí)現(xiàn)實(shí)世界中各類事物能直接被用于計(jì)算機(jī)計(jì)算的表示形式（如圖像中的事物、音頻中的聲音等），被認(rèn)為是智能機(jī)器可能的“大腦結(jié)構(gòu)”。在語音識(shí)別、圖像識(shí)別、自然語言處理等研究領(lǐng)域，掀起了一次深度學(xué)習(xí)的熱潮。在某些老問題上，它摧枯拉朽，顛覆了使用多年的方法，在另一些前沿問題中，它完全不同于先前的流行方法，卻又展現(xiàn)了驚人的效果提升。神經(jīng)網(wǎng)絡(luò)是一個(gè)帶參數(shù)的函數(shù)，通過調(diào)整參數(shù)，可以擬合不同的函數(shù)，而機(jī)器學(xué)習(xí)是一種讓計(jì)算機(jī)自動(dòng)調(diào)整函數(shù)參數(shù)以擬合想要的函數(shù)過程。多個(gè)帶參數(shù)的函數(shù)可以進(jìn)行嵌套，構(gòu)成一個(gè)多層神經(jīng)網(wǎng)絡(luò)，能更好地?cái)M合某些實(shí)際問題中需要的函數(shù)。深度學(xué)習(xí)的本質(zhì)就是：使用多層神經(jīng)網(wǎng)絡(luò)進(jìn)行機(jī)器學(xué)習(xí)。

Tensorflow是一種基于數(shù)據(jù)流編程的符號(hào)數(shù)學(xué)系統(tǒng)，應(yīng)用于機(jī)器學(xué)習(xí)領(lǐng)域算法的編程實(shí)現(xiàn)。它擁有多級(jí)結(jié)構(gòu)，可部署于各類服務(wù)器、PC終端和網(wǎng)頁，并支持GPU和TPU高性能的數(shù)值計(jì)算，被廣泛應(yīng)用于智能產(chǎn)品研發(fā)和各領(lǐng)域的科學(xué)研究中。

對(duì)大部分人而言，深度神經(jīng)網(wǎng)絡(luò)就像一個(gè)黑盒子，其內(nèi)部的組織、結(jié)構(gòu)及訓(xùn)練過程都很難理清楚，這給深度神經(jīng)網(wǎng)絡(luò)的原理理解和工程化都帶來了很大的困難，尤其是在智能模型訓(xùn)練過程中，對(duì)過程中深度神經(jīng)網(wǎng)絡(luò)構(gòu)建變化、進(jìn)度缺少一個(gè)直觀的感知和認(rèn)識(shí)。Tensorboard是tensorflow內(nèi)置的一個(gè)可視化工具，它通過將tensorflow程序輸出的日志文件信息可視化顯示，使得對(duì)tensorflow程序的理解、運(yùn)行和調(diào)試更加高效便捷。Tensorboard可視化依賴tensorflow程序運(yùn)行時(shí)輸出的日志文件，需要等到程序運(yùn)行完畢獲取該日志文件，目前這個(gè)過程跟整個(gè)模型訓(xùn)練過程是相互割裂的，無法做到對(duì)模型訓(xùn)練過程的實(shí)時(shí)監(jiān)督。因此，能夠動(dòng)態(tài)的進(jìn)行參數(shù)配置而且能夠?qū)φ麄€(gè)智能建模過程進(jìn)行可視化監(jiān)督的方法將會(huì)有力的解決現(xiàn)有建模工作中遇到的弊端和不足，提高建模的效率和完成度。

發(fā)明內(nèi)容