[發明專利]一種基于工業無線網絡的認知無線電與邊緣計算方法

在審

• 申請號: 201711133076.1
• 申請日: 2017-11-15
• 公開（公告）號: CN107911242A
• 公開（公告）日: 2018-04-13
• 發明（設計）人: 司鵬搏;梁活泉;劉洋;吳文君;楊睿哲;孫恩昌;張延華
• 申請（專利權）人: 北京工業大學
• 主分類號: H04L12/24
• 分類號: H04L12/24;H04B17/391;H04B17/382
• 代理公司: 北京思海天達知識產權代理有限公司11203
• 代理人: 沈波

1.一種基于工業無線網絡的認知無線電與邊緣計算方法，其特征在于：本方法包含如下步驟：

1)搭建基于工業無線網絡的認知無線電與邊緣計算模型架構：

采用的模型架構為三層，由下至上分別是感知層、網絡層和控制層，在感知層中，工業傳感器和監控器對工業環境進行參數測量；之后通過有線或無線連接技術將測量的數據上傳至網絡層，其中網絡層的實體為具有邊緣計算能力的無線認知路由器(CRECs)；CRECs建立了一條到匯聚節點的逐跳傳輸的信息采集路徑；由于是在工業環境下，因此假定CRECs的位置是固定的，且網絡層中具有唯一的信息匯聚節點，以便確定靜態的網絡拓撲結構和路由路徑；控制層負責對網絡進行全局控制并處理傳感數據；無線廣域網(WAN)基站用于采集網絡信息并將控制命令廣播至所有的網絡設備中，云服務器用于分析存儲由匯聚節點上傳的工業數據并做出相應的網絡控制決策；

在工業環境下，故障信息的關鍵數據具有非常敏感的傳輸延時特性需要進行實時響應，因此攜帶此類緊急數據的數據包需要立即處理；因此利用部署在靠近傳感器端具有邊緣計算能力的CRECs產生即時命令來響應緊急數據；在實時處理后可以將大量的機器狀態信息上傳至云服務器，同其他延遲容忍度高的工業數據一起進行后續分析；此外CRECs還可以對有數據預處理需求的數據包進行處理；

CRECs還具有認知無線電功能，能夠采集主網絡的空閑頻帶；當采集頻帶用于工業網絡時，該功能便可將采集頻帶分配給最合適的兩個直連CRECs進行連接；除采集頻帶外，CEIN還擁有其本身可用于傳輸延時敏感數據的頻帶；

2)建立系統模型：

2.1)網絡和服務模型

假設在CEIN中部署N個CRECs，其中N∈Z⁺；CRECs的位置固定，其中無線通信連接基于采集頻帶建立；λ表示新采集頻帶的到達率，分布服從泊松過程；t與t+1表示采集頻段可用時，兩個相鄰的時間間隙；CRECs互相合作感知頻帶空位；在t與t+1時刻，CRECs通過WAN基站向云服務器匯報各自的當前狀態，并根據云服務器下達的資源配置命令使用分配的帶寬；網絡拓撲固定后，每個CRECs的節點n都擁有其固定的下跳CRECs節點n′，這里假設每個n都了解其后跳n′的計算能力；

傳感器和監控器采集機器的狀態信息后通過CRECs將其上傳進行分析和決策；由于以上兩種工業數據都存在數據異構性的特點，這就導致工業數據包擁有著不同的延時敏感性，同時也需要不同的計算資源進行數據預處理工作；使d_h和d_l分別代表每單位時間內的延時敏感包和延時容忍包的延時消耗，由兩者的定義可知，d_h＞d_l；

2.2)計算模型

CEIN架構中CRECs的計算能力，能同時滿足緊急事件的實時響應和延遲容忍數據在傳輸過程中的處理；使ξ_n(t)∈Ξ表示n在時間間隙t中每單位時間的計算能力，這里Ξ是ξ_n(t)的可用值的集合，ξ_n(t)為當前剩余的計算資源；接下來，使用ξ′_n(t)表示n后跳的n′中的每單位時間的計算能力；

在CEINs中的數據包有時會有數據預處理的需求，因此用ξ″_n(t)表示在t時刻n中第一個數據包的計算需求；

3)對分布式隨機優化表述：

3.1)系統狀態空間

系統狀態需要包含關鍵信息以供控制器對系統進行全局優化，并做出合理的帶寬分配決策；在這里指示器u_n(t)表示在時間間隙t中，，是否有新的可用采集頻帶用來傳輸n與n′的數據包；因此，

使d_n(t)∈{d_h,d_l}表示在t時刻n隊列中的第一個數據包的延時消耗，b_n(t)∈B和b′_n(t)∈B分別表示執行n與n′的計算任務時的時間消耗；B表示b_n(t)和b′_n(t)的可用集合，因此

bn(t)=ξn′′(t)ξn(t),b′n(t)=ξn′′(t)ξ′n(t)]]>

t時刻n的系統狀態被表示為五個子狀態的元組S_n(t)，

Sn(t)=<un(t),dn(t),ξn′′(t),bn(t),b′n(t)>2×2×Ξ×B×B=<un(t),dn(t),ξn′′(t),bn(t),b′n(t)>4ΞB2]]>

這里S表示狀態空間，則S＝|S|＝4ΞB²；

3.2)動作空間

在有可用頻帶的時刻t，控制器做出頻帶分配的決策；使a(t)∈{1,2,…,N}表示控制器在t時刻的動作，A表示可用動作集，即動作空間；控制器的動作等同于CRECs的動作，即

且其求和為1；

3.3)獎勵和優化目標

在可用頻帶分配完成后，系統會采集一個實時的獎勵值定義為t時刻做出動作a后n的即時獎勵，

rna(t)=an(t)un(t){Uξn(t)[bn(t)-bn′(t)]-dn(t)τ},]]>

這里U表示云計算的計算消耗，τ表示兩個相鄰決策時刻的平均間隔時間；因此長期的總獎勵函數R^a表示為

Ra=∫0TβT-t~Σn=1Nrna(t~)dt~=Σt~βT-t~Σn=1Nrna(t~),]]>

這里β為折扣因子，T是總時間長度，表示網絡運行的持續時間；

總體目標就是找出最優的動作a^*使獎勵函數最大化，也就是

an*(t)=argmaxRa]]>

4)利用動態隨機優化和增廣馬爾可夫決策過程(MDP)尋找使在線計算復雜度最低的最優分配動作：

4.1)計算狀態轉移概率

根據定義的系統狀態，系統的一步狀態轉移概率被定義為

P(u_n(t+1),d_n(t+1),ξ″_n(t+1),b_n(t+1),b′_n(t+1)|

a_n(t),u_n(t),d_n(t),ξ″_n(t),b_n(t),b′_n(t))

＝P^a(u_n,d_n,ξ″_n,b_n,b′_n)

＝P(u_n(t+1)|u_n(t))P(d_n(t+1)|d_n(t))P(b_n(t+1),P(b_n(t+1),

b′_n(t+1)|a_n(t),ξ″_n(t),b_n(t),b′_n(t))P(ξ″_n(t+1)|ξ″_n(t))

＝P(u_n)P(d_n)P(ξ″_n)P^a(b_n,b′_n|ξ″_n,b_n,b′_n)

使用P^a(x)和P(x)分別表示P(x(t+1)|a_n(t))和P(x(t+1)|x(t))；此外，使用P^a＝[P^a(s(t+1)|s(t))]表示在動作a(t)下系統狀態s(t)的一步轉移概率矩陣；但是直接得到P^a(b_n,b′_n|ξ″_n,b_n,b′_n)的值十分困難，因此將計算模型簡化，即將CRECs的計算資源虛擬化并分為多段，每一段都擁有同樣的計算能力；使用e′_n(t)表示是否有空閑且可用的計算資源；考慮到CRECs中的每段可能計算能力不同，因此使∈_n和∈′_n表示n和n′各自的計算能力；之后系統狀態可重寫為

S_n(t)＝＜u_n(t),d_n(t),ξ″_n(t),e′_n(t),∈′_n(t)＞_8ΞE，

這里E表示∈_n(t)和∈′_n(t)的集合大?。贿M一步，假設網絡中的數據只流向一個匯聚節點，CRECs中的每一個n′都與固定的n匹配，因此∈′_n為常量，忽略∈′_n后系統狀態為

S_n(t)＝＜u_n(t),d_n(t),ξ″_n(t),e′_n(t)＞_8Ξ

狀態轉移概率簡化為

P^a(u_n,d_n,ξ″_n,e′_n,∈′_n)

＝P(u_n)P(d_n)P(ξ″_n)P^a(e′_n|ξ″_n)

其中P(u_n)、P(d_n)和P(ξ″_n)通過對狀態轉移的長期觀測得到，P^a(e′_n|ξ″_n被寫為

P₀被定義為在t到t+1期間至少完成一次計算任務的概率，P₁為得到計算任務ξ″_n(t)后的概率，即：

P0=1-Πm=1Mn′Σk=1KP(ξn′′(k))P(ξn′′(k)ξn′(t)>τ)]]>

=1-Πm=1Mn′Σk=1KP(ξn′′(k))(1-e-λξn′′(k)ξn′(t)),]]>

P1=P2+P(ξn′′(k)ξn′(t)<τ)=P2+e-λξn′′(k)ξn′(t),]]>

這里M′_n表示CPU在n′的數量，P₂表示n′中有超過一個空閑CPU的概率，λ表示頻帶到達率；

4.2)更新系統獎勵

由于系統狀態的改變，t時刻的即時獎勵更新為

rna(t)=an(t*)un(t)×[Ug((∈n′-∈n)τ,ξn′′(t*))-dn(t)τ],]]>

這里g(x,y)定義為

g(x,y)＝sgn(x)min[x,y]

4.3)重構增廣MDP

為了導出每個決策時間的最優動作，一步狀態轉移概率需是常數；在本發明中，P(d_n)是唯一浮動的概率；因此，問題就變為解決該動態參數的問題；使P(d_n)表示P(d_n)的轉移概率矩陣，即

不同的P_d,1和P_d,2值被認為是本方法中的不同模式，這些模式擁有獨特的動態環境和不同的控制策略，當給出最優頻譜分配決策時需要學習其真實值；假設模式的轉換概率矩陣為

PD=PD(1,1)PD(1,2)PD(2,1)PD(2,2)]]>

先前的動態MDP可被轉換成為POMDP，使用元組<S′,,A′,P′,R′,O′,Q′>表示POMDP的狀態空間，動作空間，狀態轉移概率矩陣，獎勵函數，觀察空間和觀察概率矩陣；使D表示模式空間；S′,A′,P′,R′,O′和Q′的增廣空間可被如下導出

S′＝S×D,

A′＝A,

P′=[PS′a(i,j)]=PD(1,1)PaPD(1,2)PaPD(2,1)PaPD(2,2)Pa,]]>

R′＝R,

O′＝S,

Q′=[P(o(t)=o·j|s(t)=s·i)]=ISIS,]]>

這里是在觀察狀態下實際狀態的概率；

通過如上轉換，該問題現在變為多進程且每時隙只有一個動作的多臂老虎機問題；每個CRECs的指標可通過原始對偶算法計算出；

4.4)資源管理過程

在CEIN的初始化過程中，首先為所有的可能狀態計算指標并在CRECs的本地進行存儲；之后，當新的采集頻帶可用時，CRECs查找指標表根據當前狀態尋找當前指標，并通過WAN基站向云服務器報告相應的指標；接下來選擇指標最小的CRECs使用該采集頻帶。

2.根據權利要求1所述的一種基于工業無線網絡的認知無線電與邊緣計算方法，其特征在于：

系統初始化和采集頻帶感知分配過程的算法如下：

Step1：確定第一個可能的狀態s；

Step2：當s在狀態空間中時，根據當前s計算出指標；

Step3：將s和相應的指標放入本地指標表；

Step4：更新s到下一狀態，如新的s不屬于該狀態空間，則跳轉至Step5，否則跳轉至Step2；

Step5：令t＝0；

Step6：如果探測到新的采集頻帶，則將頻帶信息發送至云服務器，否則跳轉至Step7；

Step7：如果云服務器接收到采集頻帶信息，則收集本地系統狀態u_n,d_n,ξ″_n,e′_n,∈′_n，查詢本地指標表決定當前指標，并將該指標發送給云服務器，否則跳轉至Step8；

Step8：如果接收到頻帶分配信息，則利用已分配頻帶傳輸n′傳輸隊列中的第一個數據包，否則更新t，返回至Step1。