[發(fā)明專利]基于Q學(xué)習(xí)的深度神經(jīng)網(wǎng)絡(luò)自適應(yīng)退避策略實(shí)現(xiàn)方法及系統(tǒng)

有效

• 申請?zhí)枺?/td>: 202010640594.8
• 申請日: 2020-07-06
• 公開（公告）號: CN111867139B
• 公開（公告）日: 2022-03-01
• 發(fā)明（設(shè)計(jì)）人: 毛中杰;俞暉;王政;許麗麗;武新波;夏天
• 申請（專利權(quán)）人: 上海交通大學(xué);北京東方計(jì)量測試研究所
• 主分類號: H04W74/08
• 分類號: H04W74/08;G06N3/08;H04W84/18
• 代理公司: 上海漢聲知識產(chǎn)權(quán)代理有限公司 31236
• 代理人: 胡晶

1.一種基于Q學(xué)習(xí)的深度神經(jīng)網(wǎng)絡(luò)自適應(yīng)退避策略實(shí)現(xiàn)方法，其特征在于，包括：

步驟1：對無人機(jī)網(wǎng)絡(luò)中的網(wǎng)絡(luò)節(jié)點(diǎn)和網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)進(jìn)行初始化，根據(jù)節(jié)點(diǎn)的位置信息確定樹形網(wǎng)絡(luò)的簇頭節(jié)點(diǎn)，簇頭節(jié)點(diǎn)采用MAC協(xié)議并在對退避策略參數(shù)初始化后，廣播至全網(wǎng)節(jié)點(diǎn)；

步驟2：全網(wǎng)節(jié)點(diǎn)根據(jù)簇頭節(jié)點(diǎn)廣播的初始化后的退避策略參數(shù)來更新本地的退避策略，并將更新信息發(fā)送至簇頭節(jié)點(diǎn)；

步驟3：簇頭節(jié)點(diǎn)根據(jù)收到的更新信息進(jìn)行統(tǒng)計(jì)，得出網(wǎng)絡(luò)公平性指標(biāo)并形成向量，保存進(jìn)經(jīng)驗(yàn)池中，若經(jīng)驗(yàn)池滿，則覆蓋其中誤差低于預(yù)設(shè)值的向量；簇頭節(jié)點(diǎn)使用基于Q學(xué)習(xí)的深度神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)策略輸出新的退避策略參數(shù)，并廣播至全網(wǎng)節(jié)點(diǎn)；

步驟4：簇頭節(jié)點(diǎn)從經(jīng)驗(yàn)池中提取向量，輸入到深度神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，得到真實(shí)Q值，將真實(shí)Q值與預(yù)測Q值進(jìn)行對比，使用反向傳播算法，更新深度神經(jīng)網(wǎng)絡(luò)中的參數(shù)，直至迭代終止；

步驟5：返回步驟2繼續(xù)執(zhí)行，當(dāng)學(xué)習(xí)策略趨于穩(wěn)定符合預(yù)設(shè)條件時(shí)，輸出退避策略。

2.根據(jù)權(quán)利要求1所述的基于Q學(xué)習(xí)的深度神經(jīng)網(wǎng)絡(luò)自適應(yīng)退避策略實(shí)現(xiàn)方法，其特征在于，所述步驟2包括：

全網(wǎng)節(jié)點(diǎn)按照初始化后的退避策略進(jìn)行通信，各節(jié)點(diǎn)分別記錄在單位時(shí)間內(nèi)的更新信息，包括傳輸成功率、平均時(shí)延、吞吐量和網(wǎng)絡(luò)負(fù)載；

傳輸成功率和平均時(shí)延通過從接收節(jié)點(diǎn)返回的ACK消息確定；

吞吐量和網(wǎng)絡(luò)負(fù)載通過單位時(shí)間內(nèi)到達(dá)的業(yè)務(wù)量和發(fā)送的業(yè)務(wù)量確定。

3.根據(jù)權(quán)利要求1所述的基于Q學(xué)習(xí)的深度神經(jīng)網(wǎng)絡(luò)自適應(yīng)退避策略實(shí)現(xiàn)方法，其特征在于，在無人機(jī)自組織網(wǎng)絡(luò)中，節(jié)點(diǎn)采用CSMA/CA協(xié)議，以隨機(jī)的方式接入信道；節(jié)點(diǎn)在監(jiān)聽到信道空閑后，退避一段時(shí)間，在這段時(shí)間內(nèi)，節(jié)點(diǎn)將持續(xù)監(jiān)聽信道，當(dāng)整段時(shí)間內(nèi)信道均為空閑時(shí)，節(jié)點(diǎn)接入信道并發(fā)送數(shù)據(jù)包；當(dāng)節(jié)點(diǎn)發(fā)送數(shù)據(jù)包失敗時(shí)，將根據(jù)退避策略調(diào)整退避窗口的大小，進(jìn)行退避重傳，重傳次數(shù)到達(dá)上限時(shí)，丟棄數(shù)據(jù)包。

4.根據(jù)權(quán)利要求3所述的基于Q學(xué)習(xí)的深度神經(jīng)網(wǎng)絡(luò)自適應(yīng)退避策略實(shí)現(xiàn)方法，其特征在于，當(dāng)站點(diǎn)通信沖突時(shí)，退避窗口CW按m倍增長；當(dāng)站點(diǎn)通信完成時(shí)，退避窗口CW按n倍減少，來控制退避窗口變化的速度，公式為：

其中，CW_t表示退避重傳t次后退避窗口的大小；常數(shù)m,n由學(xué)習(xí)策略確定。

5.根據(jù)權(quán)利要求2所述的基于Q學(xué)習(xí)的深度神經(jīng)網(wǎng)絡(luò)自適應(yīng)退避策略實(shí)現(xiàn)方法，其特征在于，根據(jù)網(wǎng)絡(luò)公平性指標(biāo)計(jì)算各節(jié)點(diǎn)之間的吞吐量差異，用吞吐量Throughput_now、吞吐量標(biāo)準(zhǔn)差σ_th和變異系數(shù)C_v反映各節(jié)點(diǎn)吞吐量的波動(dòng)性，通過變異系數(shù)的變化C_fairness確定不同節(jié)點(diǎn)間的公平性差異，表達(dá)式為：

其中，Throughput_now表示當(dāng)前單位時(shí)間內(nèi)的吞吐量，σ_th表示吞吐量標(biāo)準(zhǔn)差，表示前一個(gè)單位時(shí)間內(nèi)的變異系數(shù)，表示當(dāng)前時(shí)間內(nèi)的變異系數(shù)。

6.根據(jù)權(quán)利要求5所述的基于Q學(xué)習(xí)的深度神經(jīng)網(wǎng)絡(luò)自適應(yīng)退避策略實(shí)現(xiàn)方法，其特征在于，采用深度神經(jīng)網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練，深度神經(jīng)網(wǎng)絡(luò)內(nèi)部的神經(jīng)網(wǎng)絡(luò)層分為三類：輸入層、隱藏層、輸出層；

所述深度神經(jīng)網(wǎng)絡(luò)模型滿足線性關(guān)系：z＝∑ω_ix_i+b

z表示局部神經(jīng)元中的線性關(guān)系輸出；ω_i表示局部神經(jīng)元中第i個(gè)輸入變量的權(quán)重系數(shù)；x_i表示局部神經(jīng)元中的第i個(gè)輸入變量；

初始化a¹＝x，forl＝2toL；

訓(xùn)練的計(jì)算公式為：a^l＝σ(z^l)＝σ(W^la^l-1+b^l)

L為神經(jīng)網(wǎng)絡(luò)層的總層數(shù)，W為所有隱藏層和輸出層對應(yīng)的矩陣，b為偏移變量，x為輸入值向量，a^L為輸出層的輸出，σ(z)為激活函數(shù)；a^L為第L層的輸出值。