[發(fā)明專利]一種網(wǎng)絡(luò)重構(gòu)方法及裝置

在審

• 申請?zhí)枺?/td>: 201910579330.3
• 申請日: 2019-06-28
• 公開（公告）號: CN112149835A
• 公開（公告）日: 2020-12-29
• 發(fā)明（設(shè)計(jì)）人: 付堯
• 申請（專利權(quán)）人: 杭州海康威視數(shù)字技術(shù)股份有限公司
• 主分類號: G06N20/00
• 分類號: G06N20/00;G06K9/62
• 代理公司: 北京博思佳知識產(chǎn)權(quán)代理有限公司 11415
• 代理人: 楊春香

1.一種網(wǎng)絡(luò)重構(gòu)方法，其特征在于，所述方法包括：

以原始網(wǎng)絡(luò)中的節(jié)點(diǎn)表征智能體的狀態(tài)及動(dòng)作，基于環(huán)境回報(bào)信息在所述原始網(wǎng)絡(luò)中對所述智能體進(jìn)行強(qiáng)化學(xué)習(xí)，以使得所述智能體學(xué)習(xí)到所述原始網(wǎng)絡(luò)中的結(jié)構(gòu)拓?fù)湫畔⒁约坝糜谌コ鲈季W(wǎng)絡(luò)中的噪聲信息的規(guī)則；

獲取經(jīng)過強(qiáng)化學(xué)習(xí)的所述智能體從所述原始網(wǎng)絡(luò)中的當(dāng)前節(jié)點(diǎn)遷移至下一節(jié)點(diǎn)形成的移動(dòng)路徑，并將所述下一節(jié)點(diǎn)作為當(dāng)前節(jié)點(diǎn)，重復(fù)執(zhí)行所述獲取已訓(xùn)練的所述智能體從所述原始網(wǎng)絡(luò)中的當(dāng)前節(jié)點(diǎn)遷移至下一節(jié)點(diǎn)形成的移動(dòng)路徑的步驟，直到所述原始網(wǎng)絡(luò)中的節(jié)點(diǎn)遍歷完畢；

將所有移動(dòng)路徑連接成的網(wǎng)絡(luò)作為所述原始網(wǎng)絡(luò)的重構(gòu)網(wǎng)絡(luò)。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述環(huán)境回報(bào)信息包括環(huán)境瞬時(shí)回報(bào)及環(huán)境延遲回報(bào)；

所述以原始網(wǎng)絡(luò)中的節(jié)點(diǎn)表征智能體的狀態(tài)及動(dòng)作，采用所述智能體基于環(huán)境回報(bào)信息在所述原始網(wǎng)絡(luò)中進(jìn)行強(qiáng)化學(xué)習(xí)，包括：

從原始網(wǎng)絡(luò)中選取一節(jié)點(diǎn)作為智能體t時(shí)刻的狀態(tài)，記錄所述t時(shí)刻的狀態(tài)；

將所述狀態(tài)輸入至預(yù)設(shè)的價(jià)值網(wǎng)絡(luò)，獲取所述價(jià)值網(wǎng)絡(luò)輸出的最大價(jià)值的動(dòng)作，作為t時(shí)刻要執(zhí)行的動(dòng)作；

執(zhí)行所述動(dòng)作，以轉(zhuǎn)移至t+1時(shí)刻的狀態(tài)，并記錄所述t+1時(shí)刻的狀態(tài)；

確定該動(dòng)作的環(huán)境瞬時(shí)回報(bào)，并基于所述環(huán)境瞬時(shí)回報(bào)更新所述價(jià)值網(wǎng)絡(luò)；

將所述t+1時(shí)刻的狀態(tài)作為t時(shí)刻的狀態(tài)，基于更新后的價(jià)值網(wǎng)絡(luò)，繼續(xù)執(zhí)行所述將所述狀態(tài)輸入至預(yù)設(shè)的價(jià)值網(wǎng)絡(luò)的步驟，直到記錄的狀態(tài)的數(shù)量達(dá)到預(yù)設(shè)數(shù)量閾值時(shí)，完成本輪行動(dòng)；

根據(jù)本輪行動(dòng)中記錄的狀態(tài)，在原始網(wǎng)絡(luò)中連接相鄰狀態(tài)對應(yīng)的節(jié)點(diǎn)，得到中間網(wǎng)絡(luò)；

確定所述中間網(wǎng)絡(luò)對應(yīng)的環(huán)境延遲回報(bào)；

基于所述環(huán)境延遲回報(bào)更新所述價(jià)值網(wǎng)絡(luò)，并基于所述更新后的價(jià)值網(wǎng)絡(luò)，開始下一輪行動(dòng)，直到達(dá)到預(yù)設(shè)的最大行動(dòng)輪數(shù)時(shí)，完成所述智能體的訓(xùn)練。

3.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述將所述狀態(tài)輸入至預(yù)設(shè)的價(jià)值網(wǎng)絡(luò)，獲取所述價(jià)值網(wǎng)絡(luò)輸出的最大價(jià)值的動(dòng)作，作為t時(shí)刻要執(zhí)行的動(dòng)作，包括：

將所述t時(shí)刻的狀態(tài)分別與各備選動(dòng)作組成的狀態(tài)動(dòng)作對輸入至所述價(jià)值網(wǎng)絡(luò)中，獲取所述價(jià)值網(wǎng)絡(luò)輸出的各狀態(tài)動(dòng)作對對應(yīng)的價(jià)值；所述備選動(dòng)作包括所述原始網(wǎng)絡(luò)中除所述t時(shí)刻的狀態(tài)以外的其他節(jié)點(diǎn)；

將價(jià)值最大的狀態(tài)動(dòng)作對對應(yīng)的備選動(dòng)作作為t時(shí)刻要執(zhí)行的動(dòng)作。

4.根據(jù)權(quán)利要求2或3所述的方法，其特征在于，所述節(jié)點(diǎn)的屬性信息包括分類標(biāo)簽；

所述確定該動(dòng)作的環(huán)境瞬時(shí)回報(bào)，包括：

將所述t時(shí)刻的狀態(tài)對應(yīng)的節(jié)點(diǎn)與所述t+1時(shí)刻的狀態(tài)對應(yīng)的節(jié)點(diǎn)建立移動(dòng)路徑；

判斷所述移動(dòng)路徑是否在所述原始網(wǎng)絡(luò)中存在，并根據(jù)該判斷的結(jié)果確定第一環(huán)境瞬時(shí)回報(bào)；

判斷所述t時(shí)刻的狀態(tài)對應(yīng)的分類標(biāo)簽與所述t+1時(shí)刻的狀態(tài)對應(yīng)的分類標(biāo)簽是否一致；并根據(jù)該判斷的結(jié)果確定第二環(huán)境瞬時(shí)回報(bào)；

對所述第一環(huán)境瞬時(shí)回報(bào)及所述第二環(huán)境瞬時(shí)回報(bào)進(jìn)行融合，得到環(huán)境瞬時(shí)回報(bào)。

5.根據(jù)權(quán)利要求4所述的方法，其特征在于，所述根據(jù)該判斷的結(jié)果確定第一環(huán)境瞬時(shí)回報(bào)，包括：

若所述移動(dòng)路徑不存在于所述原始網(wǎng)絡(luò)時(shí)，則將所述第一環(huán)境瞬時(shí)回報(bào)確定為-1；

若所述移動(dòng)路徑存在于所述原始網(wǎng)絡(luò)中且已經(jīng)在本輪行動(dòng)中出現(xiàn)過，則將所述第一環(huán)境瞬時(shí)回報(bào)確定為0；

若所述移動(dòng)路徑存在于所述原始網(wǎng)絡(luò)中且在本輪行動(dòng)中第一次出現(xiàn)時(shí)，則將所述第一環(huán)境瞬時(shí)回報(bào)確定為1。

6.根據(jù)權(quán)利要求4所述的方法，其特征在于，所述根據(jù)該判斷的結(jié)果確定第二環(huán)境瞬時(shí)回報(bào)，包括：

若所述t時(shí)刻的狀態(tài)對應(yīng)的分類標(biāo)簽與所述t+1時(shí)刻的狀態(tài)對應(yīng)的分類標(biāo)簽中的任一個(gè)獲取失敗，則將所述第二環(huán)境瞬時(shí)回報(bào)確定為0；

若所述t時(shí)刻的狀態(tài)對應(yīng)的分類標(biāo)簽與所述t+1時(shí)刻的狀態(tài)對應(yīng)的分類標(biāo)簽均獲取成功，則判斷兩者是否一致；

若是，則將所述第二環(huán)境瞬時(shí)回報(bào)確定為1；

若否，則將所述第二環(huán)境瞬時(shí)回報(bào)確定為-1。