[發(fā)明專利]基于分布式軟件定義架構(gòu)的智能云的業(yè)務(wù)處理方法

有效

• 申請?zhí)枺?/td>: 201811070006.0
• 申請日: 2018-09-13
• 公開（公告）號: CN109120457B
• 公開（公告）日: 2022-01-28
• 發(fā)明（設(shè)計(jì)）人: 楊曉慶;余利;郝花雷;賀學(xué)劍;蘇萬榮
• 申請（專利權(quán)）人: 余利
• 主分類號: H04L41/0803
• 分類號: H04L41/0803;H04L47/70;H04L67/10
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.基于分布式軟件定義架構(gòu)的智能云的業(yè)務(wù)處理方法，其特征在于，基于軟件定義架構(gòu)的思想原理，由智能業(yè)務(wù)處理系統(tǒng)將數(shù)據(jù)層業(yè)務(wù)和控制層業(yè)務(wù)虛擬化的分開處理，實(shí)現(xiàn)基站智能化的處理用戶請求業(yè)務(wù)和自主學(xué)習(xí)式的分配處理業(yè)務(wù)所需要的資源；所述的數(shù)據(jù)層業(yè)務(wù)表示數(shù)據(jù)引擎的業(yè)務(wù)，所述的控制層業(yè)務(wù)表示控制引擎的業(yè)務(wù)，所述的數(shù)據(jù)層業(yè)務(wù)和控制層業(yè)務(wù)虛擬化分開處理的運(yùn)行步驟如下：

1)在基站端的控制引擎業(yè)務(wù)：

C1：結(jié)合用戶狀態(tài)和發(fā)送的業(yè)務(wù)指令給數(shù)據(jù)引擎發(fā)送優(yōu)先級的信令；

C2：調(diào)用改進(jìn)的線上線下學(xué)習(xí)算法；

C3：結(jié)合基站當(dāng)前狀態(tài)向數(shù)據(jù)引擎發(fā)送資源分配信令；

2)在基站端的數(shù)據(jù)引擎業(yè)務(wù)：

D1：執(zhí)行控制引擎發(fā)送的資源分配的信令；

D2：根據(jù)式(1)計(jì)算改進(jìn)的Q函數(shù)的目標(biāo)函數(shù)值：

其中，θ表示Q_Ω(s，a)函數(shù)的權(quán)重，Q_Ω(s，a)表示改進(jìn)的低維度的Q函數(shù)，所述的改進(jìn)的低維度的Q函數(shù)是當(dāng)系統(tǒng)處于狀態(tài)s，采用相應(yīng)的行為a的期望折扣累計(jì)代價(jià)或者回報(bào)；表示矩陣轉(zhuǎn)置，s表示系統(tǒng)當(dāng)前的狀態(tài)，a表示系統(tǒng)執(zhí)行的動作；

所述的Q函數(shù)表示：在強(qiáng)化學(xué)習(xí)中，智能體學(xué)習(xí)的目標(biāo)函數(shù)；所述的智能體表示為智能學(xué)習(xí)組件經(jīng)過不斷的試錯(cuò)學(xué)習(xí)經(jīng)驗(yàn)積累，其Q學(xué)習(xí)的目標(biāo)是面對若干種資源，不同用戶的狀態(tài)需求，在某個(gè)策略π下，將學(xué)習(xí)環(huán)境的狀態(tài)轉(zhuǎn)換成最優(yōu)的行為，即在狀態(tài)-動作空間中做出二進(jìn)制變量的智能決策；

在式(1)中，θ表示改進(jìn)的權(quán)重由式(2)計(jì)算得出：

其中，t表示時(shí)刻，ξ是改進(jìn)的Q函數(shù)更新的學(xué)習(xí)率，ξ∈[0，1)，其根據(jù)改進(jìn)的經(jīng)典貝爾曼方程式(3)可以得到ξ的經(jīng)驗(yàn)值，ξ＝0.99，

表示從長期看，所獲得的期望的獎(jiǎng)勵(lì)；R是在下一時(shí)刻即t+1時(shí)刻的立即回報(bào)，s′是下一狀態(tài)；Pr(s′|s，a)是轉(zhuǎn)移概率；和分別是狀態(tài)和行為的可行解集；β是折扣因子，表示改進(jìn)的低維度的Q函數(shù)的學(xué)習(xí)率，其范圍是[0，1)；改進(jìn)的低維度的Q函數(shù)學(xué)習(xí)的最優(yōu)策略通過式(4)獲得：

所述(2)式中δ表示時(shí)間差分誤差即TD error，即下一時(shí)刻的函數(shù)的近似值與當(dāng)前值的差，時(shí)間差分誤差由式(5)進(jìn)行估計(jì)：

所述式(2)中的表示資格跡函數(shù)；所述資格跡函數(shù)的更新由式(6)計(jì)算出：

其中，表示跡-延遲參數(shù)，所述的資格跡函數(shù)將更新為當(dāng)前達(dá)到的Q值；

D3：給用戶返回推送的服務(wù)；

所述式(1)中改進(jìn)的低維度的Q函數(shù)Q_Ω(s，a)通過用戶體驗(yàn)質(zhì)量即QoE分析將搜索空間：狀態(tài)-行為對的空間降維，實(shí)現(xiàn)原理是基于基站端Q函數(shù)和用戶端Q函數(shù)的定義而得出，所述基站端Q函數(shù)定義為其中表示用戶u在t時(shí)刻占用邏輯子信道b的活動狀態(tài)，其中，所述的用戶u，u∈[1，2，...，U]，U表示用戶總數(shù)，所述的信道b，b∈[1，2，...，B]，B表示子信道個(gè)數(shù)；表示在時(shí)刻t，當(dāng)前云端資源c的狀態(tài)，c∈[1，2，...，C]，C表示云端的資源總數(shù)；表示二進(jìn)制變量，其中，Y(t)表示用戶當(dāng)前t時(shí)刻是否與基站建立連接；X(t)表示用戶的業(yè)務(wù)是否能夠被基站完全處理，如果用戶的業(yè)務(wù)不能被基站完全處理則將用戶的部分業(yè)務(wù)卸載至云端處理；

對于用戶設(shè)備，其是由有限的電池供電，請求業(yè)務(wù)和更新計(jì)算均消耗能量，因此，用戶端Q函數(shù)的定義如下：其中，表示在t時(shí)刻用戶端可用的能量，其中，E^max表示最大的電池能量，e_loss(t)表示在t時(shí)刻消耗的能量；表示用戶端在t時(shí)刻業(yè)務(wù)處理的緊急程度，所述的由用戶發(fā)送的包的結(jié)構(gòu)字段獲知；

通過分別對所述基站端Q函數(shù)和所述用戶端Q函數(shù)的定義，結(jié)合用戶端的體驗(yàn)質(zhì)量的需求，所述改進(jìn)的低維度的Q函數(shù)Q_Ω(s，a)由式(7)得出：

其中，表示“定義上的等于”；

為降低由“狀態(tài)-動作對”構(gòu)成的Q表的空間維度，所述式(7)的右端第一項(xiàng)即用戶端Q函數(shù)的定義表示為：

其中，求和符號表示所有用戶發(fā)送的請求，若指示函數(shù)的條件成立，則其值為1，否則為0；而表示請求的平均代價(jià)，若用戶u在時(shí)刻t時(shí)的可用能量大于收發(fā)信息的基本能量，e_base是維持通信的基本能量；在基站端用戶的Q函數(shù)改寫為：

其中，

相似地，在基站端所述的式(7)的右端第二項(xiàng)即基站端Q函數(shù)的定義表述為：

其中，若子信道被占用，業(yè)務(wù)由基站單獨(dú)處理，則∈_g，f表示系統(tǒng)的平均代價(jià)，第(g，f)個(gè)H×T矩陣，即：重寫為為簡便表示，若用Ω定義參數(shù)集，則式(7)的改進(jìn)的低維度的Q_Ω(s，a)由式(8)重新定義：

因此，學(xué)習(xí)函數(shù)從原來的經(jīng)典貝爾曼Q函數(shù)Q(s，a)轉(zhuǎn)換為新的函數(shù)Q_Ω(s，a)；相應(yīng)地，所述的學(xué)習(xí)函數(shù)的復(fù)雜度從原來的指數(shù)空間降低到了多項(xiàng)式空間；

所述改進(jìn)的低維度的Q函數(shù)Q_Ω(s，a)的更新，由式(9)計(jì)算：

其中，ξ是改進(jìn)的Q函數(shù)更新的學(xué)習(xí)率，ξ∈[0，1)，β是折扣因子，表示其學(xué)習(xí)率，其范圍是[0，1)；

所述改進(jìn)的線上線下學(xué)習(xí)算法是帶有用戶體驗(yàn)質(zhì)量分析即QoE分析的線上線下式的學(xué)習(xí)算法，其以請求式和推送式服務(wù)相互促進(jìn)、及時(shí)反饋的良性循環(huán)模式進(jìn)行高效的資源配置，通過推送基站有效的資源為用戶提供更好的體驗(yàn)質(zhì)量即QoE，具體運(yùn)行步驟如下：

1)線上學(xué)習(xí)階段：

V1：初始化參數(shù)，

V2：若t＜T，其中，T表示一個(gè)周期，即最大的時(shí)隙數(shù)，t∈{1，2，...，T}；

若成立，則轉(zhuǎn)V3，若不成立，則轉(zhuǎn)V8；

V3：利用概率ε貪婪選擇下一時(shí)刻的行為，獲得相應(yīng)的回報(bào)和下一時(shí)刻的狀態(tài)信息；

V4：觀測學(xué)習(xí)環(huán)境狀態(tài)和即刻代價(jià)或者回報(bào)R(t)；

V5：將四元組(s，a，R(t)，s′)保存到經(jīng)驗(yàn)回放池；

V6：判斷改進(jìn)的Q函數(shù)是否收斂，若沒有收斂，則根據(jù)式(10)更新改進(jìn)的Q函數(shù)轉(zhuǎn)V7；若收斂，則轉(zhuǎn)到G1；

V7：返回在t+1時(shí)刻所述改進(jìn)的Q函數(shù)的函數(shù)值

V8：進(jìn)入下一周期；

2)線下學(xué)習(xí)階段：

G1：權(quán)重參數(shù)賦初值；

G2：基站端計(jì)算的累計(jì)折扣回報(bào)或者代價(jià)R；

G3：判斷經(jīng)驗(yàn)池樣本是否為空；若為空，轉(zhuǎn)G4；若不為空，根據(jù)式(2)、(5)和(6)計(jì)算當(dāng)前時(shí)刻誤差權(quán)重值，并利用最小二乘法迭代更新下一時(shí)刻的權(quán)重誤差函數(shù)值；

G4：判斷權(quán)重誤差是否小于收斂閾值，若是，則轉(zhuǎn)G5；若不是，則轉(zhuǎn)G6；

G5：利用梯度下降法更新參數(shù)集Ω，并根據(jù)式(8)計(jì)算改進(jìn)的低維度的Q函數(shù)Q_Ω(s，a)的函數(shù)值；

G6：分別根據(jù)式(5)和式(6)更新時(shí)間差分誤差和資格跡，根據(jù)式(11)更新改進(jìn)的低維度的Q函數(shù)，轉(zhuǎn)G7；

所述的式(11)如下：

G7：t++；轉(zhuǎn)V2。