[發(fā)明專利]一種基于深度Q學(xué)習(xí)的路由規(guī)劃方法

有效

• 申請?zhí)枺?/td>: 201711002456.1
• 申請日: 2017-10-24
• 公開（公告）號: CN107911299B
• 公開（公告）日: 2020-12-29
• 發(fā)明（設(shè)計）人: 李傳煌;吳艷;程成;錢正哲;金蓉;王偉明
• 申請（專利權(quán)）人: 浙江工商大學(xué)
• 主分類號: H04L12/751
• 分類號: H04L12/751
• 代理公司: 杭州求是專利事務(wù)所有限公司 33200
• 代理人: 邱啟旺

1.一種基于深度Q學(xué)習(xí)的路由規(guī)劃方法，其特征在于，該方法具體為：

對一個已訓(xùn)練完成的三層BP神經(jīng)網(wǎng)絡(luò)模型，輸入當前狀態(tài)s，輸出當前狀態(tài)可以執(zhí)行的動作的q值表Q(s, all actions)，根據(jù)q值表決定下一步狀態(tài)s'，然后，再將狀態(tài)s'輸入BP神經(jīng)網(wǎng)絡(luò)；重復(fù)迭代操作，最終到達終點狀態(tài)d；

所述已訓(xùn)練完成的三層BP神經(jīng)網(wǎng)絡(luò)模型通過以下方法訓(xùn)練得到：

步驟（1.1）訓(xùn)練樣本m，單個樣本是一個六元組{s，a，r，s'，d，done}，其中s代表當前狀態(tài)，a代表執(zhí)行動作，r代表獎勵值，s'代表下一步狀態(tài)，d代表終點狀態(tài)，done代表是否結(jié)束，將每個樣本中的 s'作為一個三層BP神經(jīng)網(wǎng)絡(luò)的輸入值，進行批量處理，得到s'狀態(tài)下選擇每個行為的q值組成的表Q(s', all actions)；

步驟（1.2）根據(jù)公式計算出q值對應(yīng)的target_q值，公式為，為經(jīng)驗折損率；

步驟（1.3）使用q與target_q計算損失函數(shù)，優(yōu)化神經(jīng)網(wǎng)絡(luò)參數(shù)，訓(xùn)練該三層BP神經(jīng)網(wǎng)絡(luò)模型；

所述訓(xùn)練樣本m由深度Q學(xué)習(xí)的經(jīng)驗回放得到，具體如下：

步驟（2.1）隨機初始化一個起點s_o和終點d，初始化經(jīng)驗池M，并且設(shè)置觀察值；

步驟（2.2）自定義評價函數(shù)R，可以對狀態(tài)和動作進行評價，給出獎勵值r；

步驟（2.3）當前狀態(tài)s，初始值等于s_o，根據(jù)隨機策略選擇一個行為a；

步驟（2.4）執(zhí)行該行為a，得到對應(yīng)的獎勵值r，進入狀態(tài)s'，判斷是否結(jié)束done，即s'是否為終點d；

步驟（2.5）將前三步所涉及的相關(guān)參數(shù)s、a、r、s'、d、done作為一條記錄保存到經(jīng)驗池M中；

步驟（2.6）判斷經(jīng)驗池中的數(shù)據(jù)是否足夠，即經(jīng)驗池里的數(shù)據(jù)數(shù)量是否超過設(shè)置的觀察值，如果不夠，判斷這次查找過程是否結(jié)束，如果過程未結(jié)束，則當前狀態(tài)s更新為狀態(tài)s'，反之，過程結(jié)束，將當前狀態(tài)s隨機置為某一狀態(tài)；回到步驟（2.3）；如果數(shù)據(jù)足夠的話，轉(zhuǎn)到步驟（2.7）；

步驟（2.7）在經(jīng)驗池M里隨機抽取出一部分數(shù)據(jù)作為訓(xùn)練樣本m。