1.一種基于深度強(qiáng)化學(xué)習(xí)的水下無線傳感器網(wǎng)絡(luò)拓?fù)淇刂品椒ǎㄈ缦虏襟E：

S1.離線訓(xùn)練階段

步驟101：拓?fù)淇刂浦行墨@取已經(jīng)完成部署的水面匯聚節(jié)點(diǎn)和水下傳感器節(jié)點(diǎn)的坐標(biāo)信息，并根據(jù)這些坐標(biāo)信息生成拓?fù)淇刂祁A(yù)定順序；

步驟102：拓?fù)淇刂浦行臑槌跏季W(wǎng)絡(luò)拓?fù)渲械拿織l鏈路隨機(jī)生成傳輸成功概率，同時(shí)為每個(gè)水下傳感器節(jié)點(diǎn)隨機(jī)生成剩余能量值；

步驟103：拓?fù)淇刂浦行母鶕?jù)強(qiáng)化學(xué)習(xí)框架按照拓?fù)淇刂祁A(yù)定順序依次為水下傳感器節(jié)點(diǎn)選擇它的數(shù)據(jù)傳輸?shù)南乱惶?jié)點(diǎn)，并將該選擇作為當(dāng)前狀態(tài)的卷積神經(jīng)網(wǎng)絡(luò)的訓(xùn)練數(shù)據(jù)；其中：所述步驟103中拓?fù)淇刂浦行臑樗聜鞲衅鞴?jié)點(diǎn)選擇數(shù)據(jù)傳輸?shù)南乱惶?jié)點(diǎn)過程；

步驟301：按照拓?fù)淇刂祁A(yù)定順序，某水下傳感器節(jié)點(diǎn)n_i為當(dāng)前狀態(tài)s_t對(duì)應(yīng)的水下傳感器節(jié)點(diǎn)，拓?fù)淇刂浦行睦没谏疃葘W(xué)習(xí)的蒙特卡洛樹搜索方法去計(jì)算當(dāng)前狀態(tài)s_t的每個(gè)動(dòng)作a_t的收益其中：

所述步驟301中基于深度學(xué)習(xí)的蒙特卡洛樹搜索方法包含四個(gè)步驟：選擇、擴(kuò)展、模擬和方向傳播：

1)選擇過程：以水下傳感器節(jié)點(diǎn)n_i對(duì)應(yīng)當(dāng)前狀態(tài)s_t作為搜索樹的根節(jié)點(diǎn)，當(dāng)前狀態(tài)s_t的最優(yōu)動(dòng)作由公式1計(jì)算所得；當(dāng)前狀態(tài)s_t執(zhí)行最優(yōu)動(dòng)作后，轉(zhuǎn)移到由最優(yōu)動(dòng)作決定的下一個(gè)狀態(tài)s_t+1，這個(gè)狀態(tài)s_t+1將執(zhí)行動(dòng)作選擇；重復(fù)上述步驟直到到達(dá)一個(gè)之前沒有出現(xiàn)過的狀態(tài)，它被稱為葉子狀態(tài)；

其中公式1表示如下：

式中a_t是當(dāng)前狀態(tài)s_t的一個(gè)動(dòng)作；A_t是當(dāng)前狀態(tài)s_t的動(dòng)作集；C是一個(gè)預(yù)先設(shè)定的調(diào)節(jié)系數(shù)，且C0；M(s_t)是相同最優(yōu)動(dòng)作下狀態(tài)s_t對(duì)應(yīng)的水下傳感器節(jié)點(diǎn)被到達(dá)的次數(shù)；M(s_t,a_t)是當(dāng)前狀態(tài)s_t選擇動(dòng)作a_t的次數(shù)；Q^π(s_t,a_t)是當(dāng)前狀態(tài)s_t選擇動(dòng)作a_t期望收益，它由公式2計(jì)算獲得；p(s_t,a_t)是當(dāng)前狀態(tài)s_t選擇動(dòng)作a_t的估計(jì)概率，它通過向卷積神經(jīng)網(wǎng)絡(luò)輸入當(dāng)前狀態(tài)s_t和動(dòng)作a_t獲得；

其中公式2表示如下：

式中M(s_t,a_t)是當(dāng)前狀態(tài)s_t選擇動(dòng)作a_t的次數(shù)；Q^π'(s_t,a_t)是第M(s_t,a_t)-1次時(shí)的當(dāng)前狀態(tài)s_t選擇動(dòng)作a_t的期望收益；V_t+1(a_t)表示執(zhí)行動(dòng)作a_t到達(dá)狀態(tài)s_t+1后狀態(tài)s_t+1獲得的期望收益，它通過向卷積神經(jīng)網(wǎng)絡(luò)輸入當(dāng)前狀態(tài)s_t和動(dòng)作a_t獲得；

2)擴(kuò)展過程：當(dāng)達(dá)到一個(gè)葉子狀態(tài)時(shí)，擴(kuò)展該葉子狀態(tài)，直到MCTS搜索次數(shù)達(dá)到設(shè)定的閾值；

3)模擬過程：使用公式1來計(jì)算在擴(kuò)展階段被擴(kuò)展的葉子狀態(tài)的最優(yōu)動(dòng)作；當(dāng)?shù)竭_(dá)最終狀態(tài)s_hn所對(duì)應(yīng)的水下傳感器節(jié)點(diǎn)時(shí)，狀態(tài)s_hn的期望收益為V_hn由公式3獲得；當(dāng)s_hn執(zhí)行完動(dòng)作后，網(wǎng)絡(luò)拓?fù)渫瓿缮桑?/p>

其中:最終狀態(tài)s_hn是拓?fù)淇刂浦行陌凑胀負(fù)淇刂祁A(yù)定順序遍歷h次網(wǎng)絡(luò)中n個(gè)水下傳感器節(jié)點(diǎn):

其中：公式3表示如下：

式中式中a_hn是當(dāng)前狀態(tài)s_hn的一個(gè)動(dòng)作；A_hn是當(dāng)前狀態(tài)s_hn的動(dòng)作集；T_π表示通過將已生成的網(wǎng)絡(luò)拓?fù)湟约皩?duì)應(yīng)的網(wǎng)絡(luò)信道和傳輸信息輸入到已有的網(wǎng)絡(luò)模擬器中去計(jì)算獲得的該網(wǎng)絡(luò)拓?fù)鋵?duì)應(yīng)的網(wǎng)絡(luò)生命周期；

4)反向傳播過程：將公式3的模擬獎(jiǎng)勵(lì)回傳給根節(jié)點(diǎn)，并更新所經(jīng)過的所有狀態(tài)上的信息；

步驟302：拓?fù)淇刂浦行倪x擇當(dāng)前狀態(tài)s_t的所有動(dòng)作中具有最大收益的動(dòng)作去作為當(dāng)前狀態(tài)下采取的最佳動(dòng)作；

步驟303：當(dāng)前狀態(tài)s_t轉(zhuǎn)移到下一個(gè)狀態(tài)s_t+1，直到所有狀態(tài)被遍歷；

步驟104：卷積神經(jīng)網(wǎng)絡(luò)的訓(xùn)練數(shù)據(jù)集合存儲(chǔ)到訓(xùn)練元組；

步驟105：從訓(xùn)練元組中以隨機(jī)抽樣的方式選擇一組訓(xùn)練數(shù)據(jù)集合去作為訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)的輸入，經(jīng)過這次訓(xùn)練完的卷積神經(jīng)網(wǎng)絡(luò)將被更新；在下一次的拓?fù)淇刂七^程中，拓?fù)淇刂浦行睦酶峦昃矸e神經(jīng)網(wǎng)絡(luò)的基于深度學(xué)習(xí)的蒙特卡洛樹搜索方法去計(jì)算動(dòng)作收益；

步驟106：判斷拓?fù)淇刂浦行氖欠襁_(dá)到預(yù)先設(shè)定的自學(xué)習(xí)次數(shù)，若是進(jìn)入在線控制階段；否則返回步驟102；

S2、在線控制階段

步驟201：水下傳感器節(jié)點(diǎn)將當(dāng)前網(wǎng)絡(luò)信道和傳輸狀態(tài)的信息包發(fā)送到拓?fù)淇刂浦行模?/p>

步驟202：當(dāng)拓?fù)淇刂浦行慕邮盏剿兴聜鞲衅鞴?jié)點(diǎn)的信息包后，拓?fù)淇刂浦行氖褂门c離線訓(xùn)練部分相同的強(qiáng)化學(xué)習(xí)框架生成網(wǎng)絡(luò)拓?fù)洌?/p>

步驟203：當(dāng)拓?fù)淇刂浦行纳删W(wǎng)絡(luò)拓?fù)浜螅阅軌蚋采w所有水下傳感器節(jié)點(diǎn)的發(fā)射功率發(fā)送網(wǎng)絡(luò)拓?fù)湫畔凰聜鞲衅鞴?jié)點(diǎn)收到網(wǎng)絡(luò)拓?fù)湫畔螅鶕?jù)網(wǎng)絡(luò)拓?fù)湫畔匦逻x擇鄰居節(jié)點(diǎn)進(jìn)行連接，達(dá)到根據(jù)水下通信環(huán)境去進(jìn)行網(wǎng)絡(luò)拓?fù)淇刂频哪康摹?/p>